데이터 비즈니스를 위한 스마트한 선택, ‘루마다 데이터 카탈로그’

필요한 시점에 적합한 데이터를 완벽히 찾아낸다는 건 쉬운 일이 아니다. 최근 포레스터 컨설팅(Forrester Consulting)이 조사한 바에 따르면, 기업의 약 70%는 데이터 큐레이션에 상당한 시간을 할애하고 있는 것으로 나타났다.

국내에서는 지난 8월, 데이터 3법 개정과 함께 마이데이터 시장이 본격적으로 열렸다. 데이터 중심의 비즈니스 영역이 확장되면서 데이터 활용에 대한 관심이 높아지고 있지만, 데이터를 어떻게 관리하고 인사이트를 도출할지 고민하는 기업은 여전히 많다.

데이터 활용이 핵심

개정된 데이터 3법에 따르면, 개인정보보호법 중 개인정보 관련 개념을 개인정보, 가명정보, 익명정보로 구분한 후 가명정보를 통계 작성 연구, 공익적 기록보존 목적으로 처리할 수 있도록 허용한다고 되어 있다. 특히 가명정보는 신용정보 주체의 동의 없이도 이용, 제공할 수 있게 됨에 따라 개인정보 유출 우려는 줄이고, 기업은 데이터를 다양하게 활용할 수 있는 방법을 모색할 수 있게 됐다.

그뿐만 아니라 개정된 신용정보법에 의해 소비자 개인이 자신의 정보를 적극적으로 관리, 통제하고 이러한 정보를 신용이나 자산 관리에 활용하는 마이데이터(MyData, 본인정보활용지원) 시대도 활짝 열렸다.

이제 활용 가능한 데이터의 수집과 추출, 분석 후 적절하게 활용만 하면 된다. 그런데 여기에는 큰 문제가 있다. 기존의 데이터만 가지고는 트렌드를 찾기 어려울 뿐만 아니라, 다양한 형태의 데이터에서 인사이트를 도출하고 가치를 얻을 수 있는 방법을 찾기가 막연한 일이기 때문이다. 민감한 데이터를 외부와 공유하는 과정에서 오류가 발생한다면 대형 사고로 이어질 수도 있다. 따라서 데이터 활용 전략에 앞서, 데이터 준비를 위한 과제 해결이 우선되어야 한다.

여기서 가장 중요한 것은 ‘기술’이다. 그렇다면 기존의 기술을 모두 섭렵해 방대하면서도 다양한 형태의 데이터에서 가치를 찾을 수 있을까? 당연히 아니다. 새로운 트렌드의 비즈니스가 시작되고 마이데이터 사업 등을 마케팅에 활용하기 위해서는 데이터 타입 역시 새롭게 정의해야 한다. 기존 시스템으로는 하기 어려운 작업이다. 머신러닝에 기반한 데이터 카탈로그가 필요한 이유가 바로 이 때문이다.

머신러닝 기반의 데이터 카탈로그

데이터 카탈로깅은 기업이 데이터를 분석하고 활용하기 위해 반드시 거쳐야 하는 작업이다. 다만 수작업으로는 양과 속도, 정확성을 만족시킬 수 없기에 최근 자동화에 대한 요구가 높아지고 있다. 기업들은 분석과 의사결정을 위한 빅데이터 활용이라는 측면에서 머신러닝에 기반한 데이터 카탈로그를 활용하면 경쟁사보다 1.5배 유리한 위치를 점할 수 있을 것으로 기대하고 있다.

자동화된 데이터 검색이 가능해지면 지식의 양이 증가하고, 수작업이 줄어 데이터 품질이 향상된다. 반면, 데이터의 출처가 분산되면 비즈니스 사용자가 올바른 맥락에 기반한 정보를 추출하기 어렵고, 태그되지 않은 데이터가 검색에서 누락되면 불완전한 정보를 기반으로 의사결정을 내릴 수밖에 없다.

따라서 데이터 엔지니어, 분석가, 비즈니스 사용자들에게는 취합된 정보 공유가 가능한 공통의 플랫폼이 제공되어야 한다. 그렇지 않으면 정보가 사일로에 산재되어 업무가 중복되고, 부정확한 결과를 초래하게 된다.

루마다, 데이터옵스를 위한 전천후 솔루션

이제 데이터 검색과 탐색을 위한 고민은 접어 두어도 좋다. 루마다 데이터 카탈로그와 함께라면 말이다.

루마다(Lumada)는 데이터 카탈로그를 포함해 빅데이터 처리·분석 플랫폼 ‘펜타호’, 데이터 옵티마이저, 엣지 인텔리전스, 지능형 데이터 검색·변환 플랫폼(HCI) 등으로 구성된다. 효성인포메이션시스템은 루마다 솔루션을 통해 데이터 거버넌스부터 전략, 플랫폼 구축, 활용 및 분석, 시각화까지 전 단계를 지원함으로써 기업이 시스템과 업무 수행 방식을 데이터 중심으로 혁신하는 ‘데이터옵스’ 환경을 구축하도록 돕고 있다.

개방형 솔루션 루마다 데이터 카탈로그

이 중 루마다 데이터 카탈로그는 기업 내 조직과 시스템에 흩어져 있는 서로 다른 속성의 데이터를 AI를 활용해 빠르게 파악하고, 데이터 정리·통합·관리를 더욱 용이하게 할 수 있도록 지원한다.

루마다 데이터 카탈로그는 메타데이터를 자동화해 수작업 태깅으로 발생할 수 있는 생산성 저하 문제를 해결한다. 또 데이터 생산자와 소비자 간 협업을 위해 중앙 집중화된 플랫폼을 제공한다. 특히 커스터마이징이 가능한 개방형 아키텍처를 통해 사용자가 맞춤형 용어집을 기반으로 민감한 데이터에 액세스할 수 있다. 기존 아키텍처와도 간단히 통합돼 시스템을 이해하는 데 필요한 시간이 단축되고, 풍부한 통찰력과 정보에 기반한 실질적인 비즈니스 성과를 얻을 수 있다.

데이터 카탈로그 솔루션의 진가

루마다 데이터 카탈로그 솔루션의 주요 특징을 살펴보면 다음과 같다.

메타데이터 자동화 수작업 태깅으로 인한 오류 방지

루마다 데이터 카탈로그의 메타데이터 자동화는 데이터 태깅과 분류, 데이터 품질 평가, 파이프라인 자동화에 대해 완벽에 가까운 정확성을 제공하기 때문에 분석의 정확도와 신속성이 향상된다.

• 데이터 핑거프린팅 기술

  데이터 수집과 클러스터링을 위한 강력한 특허 기술, 분석 정확도 향상을 위해 학습된 머신러닝 알고리즘 사용

• 규칙 엔진

  데이터를 다운스트림 프로세스로 전달하는 규칙이 실행될 수 있도록 데이터 패턴을 파악해 메타데이터로 통합

• 데이터 오브젝트와 계보

  데이터 간 숨겨진 계보와 잠재적 연관성을 파악해 가장 유용한 정보 제공

빌트인 협업 데이터셋 불완전성 해소

루마다 데이터 카탈로그의 데이터 맥락, 커뮤니티 태깅, 권고 사항을 통해 데이터의 신뢰성이 향상되고, 추가적인 데이터셋도 더욱 정확하게 찾아낼 수 있다.

• 크라우드 소싱 활용

  사람들의 코멘트, 협업, 맥락에 기반한 대화, 평가를 모두 통합해 통찰력을 확보할 수 있으며, 데이터 활용 노하우도 습득

• 권고 사항

  사용자를 통해 확보된 특정 상황에 대한 정확한 제안과 권고 사항이 제공될 수 있도록 새롭게 수집된 메타데이터와 지식 활용

• 고급 검색

  검색 범위를 좁혀 크라우드 소싱된 평가와 리뷰가 통합될 수 있도록 데이터 검색에 유연성 제공. 데이터 검색에 소요되는 시간이 단축돼 분석에 더 많은 시간 할애 가능

커스터마이징 된 개방형 아키텍처 통합 지연 문제 해결

커스터마이징 된 개방형 아키텍처로 데이터의 위치를 변경하지 않고도 엄청난 규모의 대량 데이터를 인식해 파악할 수 있으며, 통합 비용 역시 절감할 수 있다.

• 용어집 통합

  분류 기능 강화를 위해 고도로 큐레이션 된 용어집에서 태그를 추출해 써드파티 툴로 전송

• 데이터 계보 통합

  태깅의 정확도 향상을 위해 아파치 아틀라스(Apache Atlas), 클라우데라 네비게이터(Cloudera Navigator) 등의 툴에서 데이터 계보 정보 추출

• 통합 보안

  원치 않는 데이터 액세스로 인한 리스크를 최소화할 수 있도록 데이터 로그인과 액세스 제어

금융 산업을 중심으로 확장 모색

금융·핀테크 기업들이 마이데이터 서비스에 필요한 데이터 공유와 결합을 위해 하루 최대 수천만 건에 달하는 금융거래 데이터를 수작업으로 처리하면서 민감정보를 문제없이 다루는 것은 불가능하다. 데이터 카탈로그 솔루션이 절대적으로 필요한 이유다. 특히 기업 내에서 주소, 신용카드 번호 등 같은 데이터를 다른 방식으로 기록하는 일이 많은데, 외부 데이터까지 공유·결합하면 복잡성은 더욱 커진다.

루마다 데이터 카탈로그 솔루션은 핑거프린트 알고리즘이 100가지 이상의 데이터 패턴을 분류해 데이터가 어디에 흩어져 있는지 알려주고, 민감정보 위치도 확인해준다. 결합 과정을 거치면서 개인정보로 바뀔 수 있는 가명정보에 대한 필터링 기능도 제공한다.

해외의 굵직한 데이터 프로젝트에 투입돼 진가를 발휘한 루마다 데이터 카탈로그 솔루션. 효성인포메이션시스템은 국내에서는 도입 초기인 만큼 솔루션을 알리는 데 중점을 두면서, 본격적인 마이데이터 사업을 앞둔 금융시장을 중심으로 대규모 데이터를 보유한 기업과 정부, 공공기관 등을 적극적으로 지원할 계획이다.

Source by

Lumada Data Catalog speeds data discovery so you spend less time preparing, curating,
and illuminating your data, and more time analyzing it / 

www.hitachivantara.com, 2020년 9월