카카오게임즈, 펜타호를 통해 업무 효율성과 데이터 가치를 향상시키다!

카카오의 게임 전문 자회사 카카오게임즈는 올해 설립 3년을 맞은 글로벌 멀티플랫폼 게임 기업이다. 모바일로는 ‘카카오게임’, PC온라인에서 ‘다음게임’ 등 막강한 플랫폼을 구축, 국내외에서 플랫폼을 망라한 다양한 장르의 게임을 서비스하고 있으며 매년 가파른 성장을 이어가고 있다. 이런 성장에 따라 이를 받쳐주는 IT 시스템 변화가 필요했다.

프로젝트명	GameBI ETL(실시간 대용량 스트리밍 데이터 처리)
도입솔루션	펜타호(Pentaho)
도입효과	•스트리밍 데이터의 실시간 집계로 통계 정보 제공(시간당 1,200만~2,000만 건)  •새로운 유형의 데이터 소스를 분석 시스템에 손쉽게 탑재

효율적 업무 프로세스 고민

게임 업계는 특성상 다양한 데이터 소스가 존재한다. 카카오게임즈는 저장소로 하둡(Hadoop), 에코 시스템으로 하이브(Hive)와 임팔라(Impala)를 사용하고 있다. 실시간으로 축적되는 다양한 소스의 데이터를 하둡으로 적재하기 위해서는 ETL(Extract, Transform, Load)1) 역시 여러 개발 작업이 필요하다. 예를 들어, 데이터 메시징 큐인 카프카(Kafka)로 수집하는 데이터는 스파크 스트리밍(Spark Streaming)으로, NoSQL 데이터는 스파크로 개발 작업이 별도로 요구되는 것이다. 따라서 이 작업에는 만만치 않은 공수가 들어간다. 소스 데이터를 변경할 때에는 개발 변경 역시 동반되어야 하는데, 개발자가 변경과 배포 프로세스를 수행하고 나면, 담당자가 이를 다시 검증해야 한다. 적은 인력으로 많은 ETL 작업을 커버하고 있는 데다 그마저도 담당자가 나눠져 있고, 프로세스도 길어지니 불편함이 따랐다. 시간의 단축을 위해서라도 효율적인 방안을 찾아야 했다.

카카오게임즈는 2018년 1월부터 본격적으로 시스템 검토에 착수했다. 시스템 도입 시 가장 중요하게 생각한 부분은 스파크 개발 작업을 툴 기능으로 대체할 수 있는지에 대한 부분이었다. 데이터 사이즈가 크고 소스도 다양할 뿐만 아니라 변경 작업이 수시로 이뤄지고 있는 업무 특성을 고려한 것이다. 보안과 형상 관리도 가능한 시스템이어야 했다. 기존에 사용하고 있는 솔루션의 노후화나 문제가 있어 교체하는 것이 아니라 업무 프로세스의 효율화가 주 목적이라는 점에서 이전의 과제와 새로운 과제를 모두 만족하는 솔루션 도입도 필수적이었다.

빅데이터 특화 솔루션 펜타호로 확정

새로운 시스템은 상용 툴 위주로 검토했다. 여러 가지 오픈소스 중 상용화된 펜타호를 포함해 총 세 가지 솔루션의 PoC(Proof of Concept)를 진행, 최종적으로 효성인포메이션시스템의 펜타호를 선정했다. 카카오게임즈 BI팀 이문영 팀장은 “펜타호는 다른 상용 툴에 비해 빅데이터에 특화되어 있다는 점이 가장 매력적이었다. 카프카 스트리밍 데이터를 실시간으로 집계 및 처리하는 작업이 다른 솔루션 대비 편리하면서 다른 ETL 툴에 비해 처리 속도도 빨랐다. 우리가 목표한 바를 모두 달성할 수 있는 데다 빅데이터 특화 솔루션이라는 게 펜타호를 선택하게 된 이유”라고 설명했다.

펜타호는 정형 및 비정형 데이터에 대한 수집부터 변환, 적재, 분석 그리고 시각화까지 일련의 과정을 모두 제공하는 원스톱 빅데이터 솔루션이다. 다양한 데이터 배포 환경에 최적화되어 있으며, 모든 기업이 데이터 소스를 바탕으로 가치 있는 통찰력을 얻을 수 있도록 지원한다.

펜타호 결정 이후 인력 보강과 펜타호 기능을 보완하는 작업을 거쳐 본격적인 프로젝트는 2018년 9월부터 시작했다. 그 과정에서 실제 구현하는 부분에 난항이 있었지만 효성인포메이션시스템과의 긴밀한 협의를 통해 해결할 수 있었다.

작업 시간 단축으로 업무 생산성 향상

펜타호를 구축하고 사용한지 6개월 여. 그간 어떤 변화가 있었는지에 대한 질문에 이문영 팀장은 이렇게 대답했다. “여러 가지 장점이 있지만, 게임 애플리케이션의 필수인 광고 관련 작업에 변화가 컸다. 이전에는 클라우드에 광고 데이터가 쌓이게 되고 이 데이터들은 하둡으로 보내기 위해 별도의 개발 작업이 필요했다. 그런데 펜타호를 도입한 후에는 초기에 약간의 개발만 해 놓으면 클라우드에 쌓인 데이터를 펜타호로 가져오는 작업이 아주 수월해졌다. 개발팀의 도움 없이 새로운 유형의 데이터 소스를 분석 시스템에 쉽게 탑재할 수 있게 된 것도 큰 장점이다. 적은 인력으로 모든 업무를 커버하느라 하기 힘들었던 일들이 가능해지니 특히 현업에서 큰 도움을 받고 있다.”

또한 이문영 팀장은 “게임 업계는 특성상 분석 데이터가 적지 않다. 퍼블리싱하는 게임의 로그를 모두 받고 있는데, 게임 수가 많다 보니 데이터를 활용하는 부분의 인프라가 아직 부족한 것이 현실이다. 카카오게임즈는 펜타호를 필두로 데이터 레이크를 구축해 분석가나 현업 사용자들한테 실시간으로 쉽고 편리하게 데이터를 분석하고 시각화 할 수 있도록 데이터 레이크 플랫폼 환경을 도입하는 것을 올해 목표로 추진 중이다.”라고 덧붙여 설명했다.

든든한 데이터 통합 및 분석 솔루션 펜타호를 통해 업무의 효율성을 제고하고 데이터 가치를 향상시키게 된 카카오게임즈의 활약을 더욱 기대해본다.

Voice of Customer

발 빠른 솔루션 구축으로 한발 더 앞서가다

펜타호를 선정하고 구축하는 데 어려움은 없었나요.

오픈소스 검토 과정에서 펜타호를 알게 되었는데 하둡 등 빅데이터에 특화되어 있고, 카프카 데이터뿐만 아니라 다양한 데이터 처리가 가능한 점 때문에 선택하게 됐지요. 프로젝트를 진행하면서 데이터 이관 작업 등 이슈가 발생할 때마다 효성인포메이션시스템 담당자가 발 빠르게 대응해주어서 순조롭게 진행할 수 있었습니다.

펜타호를 활용하면서 팀에 어떤 변화가 생겼나요.

기존에도 순차적인 작업은 이뤄졌지만, 작업들 간 공백이 발생했습니다. 반면 펜타호는 하나의 플로우를 통해 스케줄링으로 작업이 진행됩니다. 모든 작업이 처음부터 마무리까지 유기적으로 진행되는 거죠. 데이터 작업에 소요되는 전체적인 시간 또한 단축되어 효율적으로 시간을 활용할 수 있게 되니, 다른 업무를 추가할 여력을 확보할 수 있게 되었습니다.

향후 시스템 확장 계획을 말씀해주세요.

펜타호 도입 전에는 다른 스트리밍 서비스를 이용해서 데이터를 수집하고 있었지만, 이제 내부에서 자체적으로 시스템을 관리할 수 있게 되었습니다. 다른 시스템을 포괄하는 펜타호 덕분이죠. 데이터를 가져오는 작업도 꽤 큰 일인데, 관리까지 하기엔 리소스가 너무 많이 들었습니다. 향후에는 단순 ETL을 넘어 여러 방면으로 펜타호를 활용할 계획입니다.