지금은 데이터옵스(DataOps) 시대! 핵심 솔루션은?

하버드 비즈니스 리뷰(Harvard Business Review)는 “산업 간 연구 결과, 평균적으로 기업 내 정형 데이터 중 의사결정에 활발히 이용되는 데이터는 절반 이하에 불과하며, 비정형 데이터가 분석되거나 사용되는 비율은 1% 이하다. 70% 이상의 직원들이 불필요한 데이터에 액세스하고 있으며, 데이터 분석가들은 80%의 시간을 데이터 검색과 준비에 쏟고 있다. 기업의 데이터 기술은 아직 충분한 수준에 미치지 못하고 있다.”고 언급했다. 이는 2년 전인 2017년에 발간된 보고서 내용이다. 이후로 어떤 변화가 있었을까?

비즈니스를 위한 데이터 관리 프레임워크는 여전히 소수

데이터 관리는 IT가 처음 등장할 때부터 존재했으며, 많은 기술이 빅데이터 배치, 거버넌스, 베스트 프랙티스, 툴 등에 초점을 맞춰 왔다. 그러나 지난 25년 이상 축적된 대규모 데이터 허브(데이터 웨어하우스, 마스터 데이터 관리, 데이터 레이크, 하둡, 세일즈포스, ERP 등)는 이해하기도 어렵고 연관성을 찾거나 공유하기도 쉽지 않은 수많은 데이터 사일로만 양산하고 있다.

비즈니스에 중점을 둔 데이터 관리 프레임워크가 있다면 데이터 활용과 리소스 할당을 효율적으로 할 수 있고, 해당 데이터에 적용된 기술과 데이터를 이해할 수 있도록 데이터 준비에 초점을 맞출 수 있다. 데이터 엔지니어는 소비자가 원하는 필수 데이터를 이동, 변형할 수 있을 것이다.

데이터 운영에 초점을 둔 데이터옵스(DataOps)

사용자는 이제 데이터 수집, 저장, 보호라는 근본적인 부분보다는 데이터 운영 측면에 더 많이 주목하고 있다. 데브옵스(DevOps, 소프트웨어 개발과 IT 팀 간 프로세스를 자동화해 더 빠르고 신뢰성 있는 방식으로 소프트웨어 개발, 테스트, 발표가 가능하도록 지원하는 개발 환경 또는 문화)의 성공에 이어 기업은 이제 데이터옵스(DataOps)로 눈을 돌리고 있다.

데이터옵스가 무엇인지는 2015년 이 개념을 처음 소개한 앤디 팔머의 설명이 가장 정확하다. “데이터옵스는 데이터 엔지니어링 조직이 사용자에게 더 빠르고 광범위하게 준비된 데이터를 제공할 수 있도록 해주는 툴과 문화 프레임워크로 데이터 엔지니어링, 데이터 통합, 데이터 품질, 데이터 보안의 교차 지점이다. 데이터옵스는 기본적으로 팀에 협업 기술을 도입해 데이터 엔지니어링 범위 내의 모든 역할과 책임을 통합시키는 포괄적 용어다. 데이터옵스의 미션은 다양한 통합과 배치 업무에 대한 테스팅 부담을 공동 할당하는 방식으로 데이터를 제공하는 것이다.”

히타치 밴타라의 데이터옵스 솔루션

히타치 밴타라는 HCP(Hitachi Content Platform), 펜타호, 엔터프라이즈 IT 인프라 등 3가지 영역에 데이터옵스 관련 기술을 적용하고 있다.

HCP
HCP(Hitachi Content Platform)와 HCI(Hitachi Content Intelligence) 소프트웨어 내 비정형 데이터용 오브젝트 스토리지. 풍부한 메타 데이터, 콘텐츠 인텔리전스, 데이터 통합, 분석 조율 툴을 갖춘 오브젝트 스토리지로 기업 경영진이 통찰력 확보에 필요한 데이터 소스, 데이터 품질 이슈, 분석 유형, 새로운 업무 등을 파악할 수 있다.

대규모 플로우 기반 콘텐츠 플랫폼, HCP

펜타호
펜타호는 전체 머신러닝 워크플로우를 간소화하며, 데이터 사이언티스트, 엔지니어, 애널리스트 팀이 예측 가능한 모델을 교육, 조율, 테스트, 배치할 수 있도록 해준다.

머신러닝 오케스트레이션 툴, 펜타호(Pentaho)

IT 인프라
서드파티 벤더와 간편하게 통합하기 위해 REST API 기반의 에지(Edge)부터 코어, 클라우드까지 확장하는 안전한 엔터프라이즈 IT 인프라로, 다른 벤더의 관리툴과의 연계뿐 아니라 REST API를 통해 분석과 머신러닝 적용, 리소스 배치를 자동화할 수 있다.

Source by

DataOps and Hitachi Vantara

community.hitachivantara.com, 2019년 4월