본문 바로가기

TECH ZOOM

비즈니스 성공 가도를 달리는 데이터 분석의 기술_Part 01



고객들은 분석 기능으로부터 많은 이점을 이끌어낼 수 있다. 리포팅, 분석, 대시보드, 시각화 툴은 사용 만족도를 높이고, 시장 경쟁력을 제공하며, 비즈니스 성장을 가속화할 수 있다. 그러나 고객이 이러한 성과를 얻게 하기 위해서는 리소스 투자, 프로젝트 시점, 리스크 관리, 사용자 니즈에 대한 세밀하고 꼼꼼한 접근 방식과 적절한 검토가 필요하다. 현재 필요한 분석 기능을 자체 개발할 것인가, 아니면 전문 벤더의 솔루션을 구매할 것인가. 각각의 장단점을 들여다 보고, 히타치 밴타라의 빅데이터 분석 플랫폼인 ‘펜타호(Pentaho)’를 살펴본다.


PART 01

구매 vs 자체 개발 비즈니스 데이터 분석 위한 최선의 방법은?


‘구매 vs 자체 개발’은 소프트웨어 영역에서 아주 오래된 딜레마다. 대규모 엔지니어링 팀을 보유하고 있거나 자체 개발한 솔루션만이 고도의 프로젝트 수요를 만족시킬 수 있다고 확신하는 일부 기업은 종종 자체 BI(Business Intelligence) 개발이라는 유혹에 빠진다.

사내 개발팀이 데이터 분석 전문성을 갖고 있다 하더라도 일단 최종 산출물이 나오게 되면 상황은 달라진다. 자체 개발한 솔루션은 문제의 일부만 해결할 수 있다는 사실을 곧 깨닫게 되기 때문. 유연성을 갖춘 분석 플랫폼이 아니라면 적절한 비용으로 원하는 시간 내에 사용자 니즈를 전체적으로 만족시키기 어렵다. ‘자체 개발’ 접근 방식이 갖고 있는 몇 가지 함정과 ‘구매’ 접근방식이 왜 대부분의 임베디드 분석에 적합한지 다섯 가지 이유를 들어보고자 한다.


비즈니스 분석 플랫폼, ‘구매’가 나은 이유

빅데이터 분석 시장은 기업에게 최적화 된 솔루션을 제공할 수 있는 다양한 벤더들이 포진해 있다. 따라서 시장 규모가 크고 기술력도 탄탄하다. 선도적인 벤더와 파트너십을 구축하는 것이 자체 개발하는 것보다 얼마나 유리한지 주요 TCO(Total Cost of Ownership)와 ROI(Return on Investment) 측면에서 알아보자.


선행 투자 개발비

분석에는 상당한 수준의 설계, 코딩, 테스트, 문서 작업이 동반된다. ‘분석’의 개발은 단순한 ‘기능’이 아닌 ‘전체적인 통합 시스템’ 차원의 개발을 의미하기에 개발팀의 규모가 커지는 경우가 많다. 실제로 초기 개발 단계에는 디자이너, 프론트엔드 및 백엔드 엔지니어, QA(Quality Assurance) 담당자 등의 인력이 참여한다. 팀원들의 경력에 따라 인력을 새로 충원해야 할 수도 있다.

이와 달리 ‘구매’ 시나리오에서는 기술적인 작업뿐 아니라 복잡성도 대폭 줄어든다. 사내 기술팀은 서드파티 분석 소프트웨어를 기존의 애플리케이션에 통합 또는 임베딩하기만 하면 된다. 이 정도의 작업은 웹 개발자 스킬만으로도 충분하며, 커스터마이징도 비교적 수월하다. 즉, 1~2명의 인원으로도 훨씬 더 짧은 시간에 모든 기술적 작업을 완료할 수 있다는 의미다.

한편 현업 담당자와 IT 분석가들은 필요한 데이터 웨어하우스 혹은 데이터 마트 내 다중 정보 소스를 통합할 수 있도록 코딩 없이 즉각 사용이 가능한 OOBT(Out-of-the-Box Tool)를 이용할 수 있다.


TIP ‘구매’ 시나리오에서는 프로젝트에 필요한 담당자 규모와 소요 비용이 대폭 줄어든다.


솔루션 출시 기간

대부분의 기술 담당부서에게 ‘분석’의 개발은 완전히 새로운 솔루션을 출시하는 것과 마찬가지다. 따라서 ‘자체 개발’ 시나리오라면 개발 시작부터 완료까지 1년 이상이 소요될 수도 있다. 설계, 개발, 테스트를 필요로 하는 컴포넌트 수가 많기 때문이다. 주로 포함되는 사항은 아래와 같다.

  • ▲ 메타데이터 관리, ETL, 데이터 리소스 클렌징 등 데이터와 애플리케이션의 통합
  • ▲ 집적, 필터링, 커스터마이징 등 컴포넌트를 모두 포함하는 리포팅 엔진
  • ▲ 사용자와의 인터랙션이 가능한 데이터 시각화
  • ▲ 분석, 관리, 스케줄링, 이메일 배포 등의 사용자 인터페이스
  • ▲ 전반적인 시스템 보안, 관리, 콘텐츠 관리 및 비즈니스 로직

이처럼 고도의 복잡성이 동반되는 프로젝트이기에, 자체 개발하게 될 경우 예상치 못한 지연이 발생할 수 있으며, 방향성을 수정해야 하는 위험에 맞닥뜨릴 수도 있다. 그뿐만 아니라 사용자가 새로운 유형의 리포트를 요구할 때마다 엔지니어링이 추가로 필요할 수 있다는 문제점을 안고 있다.

개발 시간의 단축은 사용자 만족도 향상과 유의미한 비즈니스 통찰력 확보, 그리고 더 빠른 ROI로 이어진다. ‘구매’ 시나리오에서는 엔지니어링 부담이 대폭 줄어들어 론칭 시점이 1/4 이상 빨라질 수 있다. 전문 벤더들은 론칭 시점을 이보다 더 앞당길 수 있도록, 개발자 권한과 베스트 프랙티스를 제공한다. 적용 이후의 관리 프로세스도 이미 문서화되어 있기 때문에 불확실성도 줄어든다.
   

TIP 솔루션을 ‘구매’하면 풍부한 경험을 갖춘 파트너의 전문성을 부 가적으로 얻을 수 있다. 이는 훨씬 더 쉽고 빠르게 분석 기능을 구현할 수 있다는 것을 의미한다. 즉 ROI가 가속화된다.


‘현재진행형’ 론칭 및 유지보수 비용

자체 개발한 분석 모듈 1.0을 공개하는 순간부터 에러 수정, 기본 기능 강화 등 끊임없는 요구가 이어진다. 첫 공개 이후 한동안은 개발 완료된 애플리케이션의 ‘결함’을 수정하느라 많은 시간과 노력을 쏟아 부어야 한다. 유지보수 요청에 부응하는 데만도 몇 명의 기술 전문가가 필요하다. 문제는 여기서 그치지 않는다는 것이다.

사용자는 새로운 유형의 분석 및 시각화 또는 사내 데이터 소스와의 연계 등 더 중요한 새로운 기능 사항들을 추가로 요구하게 될 것이다. 하둡(Hadoop), NoSQL 등 통합이 필요한 데이터 저장소를 새롭게 추가해야 하는 상황이 발생하면 어떻게 할 것인가? 이들 각각에 대해 추가 작업이 필요할 수 있으며, 이는 곧 최소 몇 개월 동안은 초기 론칭 팀의 일부를 떼어내 그 일을 전담하도록 해야 한다는 것을 의미한다. 뿐만 아니라 사용자 작업, 데이터 볼륨, 쿼리의 복잡성이 증가하면서 시스템에 추가의 확장성과 속도를 구현해야 할 수도 있다.

‘구매’ 시나리오에서는 구매하는 플랫폼에 따라 차이가 있지만 미래에 필요할 수 있는 컴포넌트의 상당수가 이미 이용 가능한 상태로 포함되어 있다. 마찬가지로 기술팀의 엔지니어링 작업은 앞선 ‘선행 투자 개발비’에서 언급한 것처럼 간단한 임베딩과 커스터마이징 정도에 그치며, 에러 수정도 벤더가 책임지므로 유지보수 비용도 대폭 줄어든다. 또한 데이터 크기, 사용자 수, 쿼리 복잡성 전반에 걸쳐 확장 가능하도록 설계되어 있어, 비즈니스 성장에 충분히 대응할 수 있다.


TIP 서드파티 플랫폼을 선택하면 사내 엔지니어링팀의 유지보수 부담을 최소화하고, 기존 시스템과 빠르고 확장성 높은 통합이 가능하다.


지원과 교육 훈련비

‘구매’를 택하든, ‘자체 개발’을 택하든 분석을 위한 사용자 지원과 교육훈련은 반드시 필요하다. ‘자체 개발’을 선택할 경우 상당히 세심한 문제해결을 포함해 ‘전체 솔루션’에 대한 지원이 수반돼야 한다. 뿐만 아니라 발생하는 다양한 이슈를 문서화하고 교육훈련 자료도 개발해야 한다.

그러나 ‘구매’를 선택하면 다르다. 어떤 종류의 문제가 발생하든 벤더 지원팀을 통해 해결이 가능하다. 즉 지원 인력이 사내에 많이 필요치 않다는 의미다. 뿐만 아니라 모든 사용자에 대한 교육훈련과 성공이 가속화될 수 있도록 벤더의 기존 교육 훈련 자료, 문서, 베스트 프랙티스도 받을 수 있다.


TIP 분석 솔루션 벤더들은 제공하는 솔루션에 대한 기술 지원팀을 이미 갖고 있으며, 수많은 교육 훈련과 문제해결 리소스도 보유하고 있다. 따라서 ‘구매’를 선택하면 서비스 비용을 현저히 낮출 수 있다.


핵심 경쟁력에 집중

실제로 많은 기업이 분석 플랫폼의 ‘구매’를 결정하는 이유는 IT 담당부서 전체가 데이터 통합과 B I의 토대를 마련하기 위해 올인하는 걸 원치 않기 때문이다. 기업은 오히려 IT팀이 비즈니스 성공을 촉진하는 데 도움이 되는 핵심 시스템을 구축하고 유지하는 데 집중하기를 원한다.

고객, 파트너, 내부 직원들에 대해 실행 가능한 분석을 제공하면 상당한 경쟁 이점을 확보할 수 있지만 그렇다고 해서 여러분 기업이 분석 소프트웨어 개발 업체가 될 필요는 없다. 실제로 자체 개발을 할 경우 현재 시장에서의 지위를 기반으로 빈약한 전략과 재무 결정을 내리게 될 수도 있다.


TIP 플랫폼 구매는 분석 이니셔티브에 대한 투자, 리스크 및 전반적인 자원 낭비를 최소화할 수 있으며, 궁극적으로 가장 핵심적인 역량과 경쟁 우위를 확보할 수 있도록 해준다.