빅데이터 분석의 참맛을 보여주다

효성인포메이션시스템(HIS)이 2016년 IT 업계에 던진 화두는 단연 빅데이터다. 올해 2월 빅데이터 전담 조직을 신설하고 국내 내로라하는 기업과 연합해 빅데이터 관련 솔루션을 내놓은 데 이어 Hitachi HSP(Hyper Scale-Out Platform) 400을 국내에 출시하며 승부수를 던졌다. 지난달 16일에는 HDS 아태지역 솔루션 총괄인 수닐 샤반 선임이사가 방한해 2016년 빅데이터 시장에서의 리더십 강화를 노리는 HIS를 측면 지원 하고 나섰다.

Q. 이번에 출시한 Hitachi HSP 400은 어떤 솔루션인가.

데이터 수집, 저장, 분석, 시각화 등 빅데이터 분석에 필요한 기능을 모두 지원하는 소프트웨어 정의 기반의 어플라이언스다. 빅데이터 전문기업 ‘펜타호(Pentaho)’의 분석 솔루션 기술을 완벽하게 통합했다. 고객은 HSP 400을 통해 데이터 수집, 저장, 분석, 시각화 등 빅데이터 분석에 필요한 기능을 쉽고 간편하게 구현할 수 있다. 실제로 수개월이나 소요되던 ‘빅데이터 구축에서 운영까지’의 시간을 몇 시간 이내로 단축할 수 있을 것이다.

Q. 솔루션 내에 하둡을 탑재한 이유는 무엇인가.

HSP 400을 설계할 때 가장 중점에 둔 부분이 바로 하둡 애플리케이션을 분석이 실제로 발생하는 위치와 최대한 가까이에 두는 것이었다. 하둡에는 굉장히 많은 ETL(Extract, Transform and Load)^[각주:1]이 발생한다. 하둡 애플리케이션을 HSP 400 내부에 위치시키면 동일한 플랫폼 상에서 수없이 많이 발생하는 ETL과 분석 애플리케이션이 함께 작동하게 되므로 데이터 크런칭(data-crunching) ^[각주:2]관점에서 큰 장점이 있다. 또한 불필요한 데이터 이동도 줄일 수 있다.

Q. 하둡은 오픈소스라 비용이 없는 대신, 하둡 소프트웨어 지원이나 유지보수, 보안 등에 제약이 있지 않나.

하둡은 누구나 다운로드해 설치할 수 있다는 장점이 있지만 지원 부분은 짚고 넘어갈 필요가 있다. HSP 400 고객은 하둡에 대한 추가적인 고민을 할 필요가 없다. HDS(Hitachi Data Systems)가 호튼웍스와의 파트너십을 통해 하둡을 바로 지원하기 때문이다. 또한 HSP 400은 스케일 아웃^[각주:3] 방식을 채택하고 있기 때문에 KVM과 하둡을 별도로 파티셔닝 할 수 있다. 필요에 따라 데이터 공유를 마음대로 할 수 있어 엔터프라이즈에서 요구하는 보안 수준을 보장할 수 있다는 얘기다. 이와 더불어 지난해 HDS가 인수한 펜타호의 강력한 소프트웨어를 함께 제공한다. KVM, 하둡, 펜타호를 모두 하나의 플랫폼에서 지원하므로 고객은 기업 상황에 맞게 보안 수준을 설정할 수 있다.

Q. HSP 400이 내세우는 장점은.

HSP 400에는 호튼웍스의 보안 모듈이 포함돼 있으므로 고객은 별도의 보안 모듈을 설치해야 하는 부담이 없다. HSP 400은 멀티테넌시 기능도 제공한다. 이를 통해 여러 애플리케이션을 동시에 작동시킬 수 있으며, 하드웨어 리소스를 애플리케이션에 분산시켜 활용하면서도 데이터가 서로 다른 애플리케이션에 공유되지 않도록 데이터 보안을 높은 수준으로 유지할 수 있다.

Q. 클라우데라가 하둡 생태계에서 가장 큰 비중을 차지하는데 호튼웍스를 선택한 이유는.

클라우데라는 물론 MongoDB도 곧 지원할 예정이다. 호튼웍스를 가장 먼저 지원하게 된 이유는, 호튼웍스 하둡이 아파치 오픈소스 하둡과 굉장히 긴밀하게 연결돼 있으며 약 80% 정도 중복되기 때문이다. 호튼웍스를 지원한다는 것은 아파치 오픈소스 하둡을 함께 지원할 수 있다는 것을 의미한다. 많은 고객들이 호튼웍스와 클라우데라 사이에서 고민하고 있는 것으로 안다. HSP 400은 두 버전과 MongoDB까지 모두 지원해 고객들의 고민을 해결할 계획이다.

Q. 한국의 HSP 400 사용 기업은 장애가 났을 경우 어떻게 해야 하나.

빅데이터 솔루션을 사용하는 데 있어서 가장 중요하게 고려해야 할 점은 바로 벤더의 기술지원 여부다. HIS-HDS는 이 부분에서 큰 강점을 갖고 있다고 자부한다. HSP 400을 사용하는 고객은 문제 발생시 모든 문제를 HIS-HDS 헬프데스크로 문의해 처리할 수 있다. HSP 400 애플리케이션 박스에서 모든 기능을 제공하며, 이슈를 처리하기 때문이다. 하드웨어와 소프트웨어 문제를 하나의 지점에서 처리할 수 있다는 것은 고객 입장에서 굉장히 큰 장점이 될 것이다.

Q. 비슷한 시기에 HIS가 출시한 UCP 포 빅데이터(UCP for BigData)와의 차이가 궁금하다.

HSP 400은 하둡 기반의 분석 플랫폼으로 많은 데이터를 빠르게 분산, 병렬처리 하는 것에 초점을 맞춘 제품이다. UCP 포빅데이터는 실시간으로 빅데이터가 쏟아져 들어올 때 빠르게 이를 처리해서 결과를 도출해내기 위한 솔루션이다. 특히 사용자의 편리한 사용을 위해 UI 등을 한국 사용자에 맞게 제공하는 것으로 안다. 기업이 처한 상황과 목표를 감안해 HIS가 최적의 제안을 할 것으로 믿는다.

Q. HIS가 빅데이터 전담 조직을 신설했다. HDS 본사와 아태지역의 지원은 어떤 식으로 이뤄지는가.

HIS가 고객이 원하는 최적의 솔루션을 제공하기 위해 빅데이터 전담 조직을 신설한 것은 우선 빅데이터 메시지가 명확해 졌다는 의미다. 컨설팅부터 기술 지원까지 모든 역량을 갖춰 고객을 지원할 수 있는 조직이다. 빅데이터 관련 기술은 한국 내 조직에서 지원하게 되고, 컨설팅 부분에서는 HIS의 요청이 있으면 글로벌 지원 조직이 언제든 협력할 계획이다.

1. 1) ETL(Extract, Transform and Load) : 추출, 변환, 적재 등 시스템에서 시스템으로 데이터를 이동시키는 세 가지 형태 [본문으로]
2. 2) 데이터 크런칭(Data-crunching) : 일정기간 자료들을 수집해 이를 편집하고 결과물을 산출하는 데이터 처리 방식 [본문으로]
3. 3) 스케일 아웃(Scale-Out) : 하나의 클러스터에서 노드를 추가해 데이터 처리 능력을 균일하게 증가시키는 방식. 노드를 추가하는 만큼 용량을 증가시킬 수 있고 저장 속도도 증가한다. [본문으로]