데이터 레이크, 혁신의 열쇠가 되다

디지털 혁신을 위한 방법은 어렵지 않다. 기업 내 데이터를 ‘모두 활용’할 수 있다면 말이다. 최근 산재해 있는 다양한 데이터를 한곳에 모으는 것부터 추출, 분석을 통해 인사이트를 창출하려는 기업이 늘고 있다. 효성인포메이션시스템의 ‘데이터 레이크’ 전략과 솔루션은 기업이 완벽한 데이터 혁신의 밑그림을 그리고 현실화할 수 있는 길을 활짝 열어줄 것이다.

 

필요한 데이터를 원하는 곳에 적시에 제공하는 것은 모든 조직의 도전과제다. 엣지부터 데이터센터, 클라우드에 이르기까지 데이터가 폭증하면서 유연한 인프라를 기반으로 다양한 종류의 데이터를 비용 효율적으로 저장하고, 적재적소에서 이용하는 데이터 운용의 묘가 절실한 상황이다.

적재적소의 데이터 활용이 ‘관건’

모든 데이터에서 인사이트를 얻고 싶다면, 데이터의 흐름을 아는 것이 무엇보다 중요하다. 그러나 기존의 방법으로는 시간이 오래 걸리고, 수집된 데이터가 ‘전부’인지 확신할 수 없다. 하지만, 기업의 데이터를 ‘한 곳에 모아 놓고’ 접근한다면 얘기가 달라진다.

데이터 저장과 관리를 위한 전략인 ‘데이터 레이크’는 데이터 사일로 현상을 방지하고, 데이터 분석을 위한 모든 종류의 데이터 취합에 탁월한 ‘데이터 중앙공급소’라고 할 수 있다. 데이터 레이크를 활용하면, 미리 정해놓은 목적 없이도 정보를 저장하고, 셀프서비스 분석 플랫폼으로도 사용이 가능하다. 특히 제조, 통신산업 등 현장에서 생성되는 실시간 데이터까지 결합할 수 있기 때문에 기업이 데이터 혁신을 이루는 데 중요한 역할을 한다.

‘데이터 레이크 관련 기술’은 데이터 레이크 전략의 핵심이라고 해도 과언이 아니다.

해결사로 등장한 오브젝트 스토리지

데이터가 늘면 인프라 비용 부담도 덩달아 커진다. 이에 기업들은 유연성과 확장성이 뛰어난 클라우드로 데이터를 이전하기 시작했지만, 데이터 관리의 복잡성과 제조 및 통신 등 산업 현장에서 쏟아지는 엣지 데이터 관리가 걸림돌이었다. 필요한 장소에서 바로 데이터를 쓰고, 데이터 저장 및 관리 비용이 과도하게 커지는 것을 방지할 수 있는 인프라가 절실했다.

대규모 데이터를 처리하면서 전체 데이터를 한 곳에 담아 놓고 필요할 때 꺼내 쓸 수 있는 가장 비용 효율적인 솔루션은 오브젝트 스토리지다. 오브젝트 스토리지는 데이터를 파일이나 블록이 아닌 객체 단위로 관리하고, 모든 유형의 정형·비정형 데이터를 지원한다. 오브젝트 스토리지를 활용하면 IoT(사물인터넷) 센서 데이터나 동영상, 이미지 같은 새로운 유형의 데이터와, 기업 내에 쌓인 방대한 과거 데이터를 적절하게 활용함으로써 필요한 가치와 인사이트를 찾아낼 수 있다. 이런 이유로 최근 기업들의 수요 역시 크게 늘고 있다.

일례로, 데이터의 실시간 처리가 가능한 금융산업에 비해 제조산업에서는 ‘실시간 처리 및 분석’이 어려운 영역이었다. 그러나 오브젝트 스토리지 기반의 ‘데이터 레이크’를 통해 생산 활동 중 라인을 멈추지 않고, 간단한 분석을 통해 데이터를 바로 활용할 수 있는 길이 열렸다.

효성인포메이션시스템은 데이터 레이크 전략을 위해 데이터 타입에 상관없이 다양한 데이터를 저장하는 오브젝트 스토리지 ‘HCP’부터 데이터의 체계적인 관리를 지원하는 ‘루마다 데이터 카탈로그’, 빅데이터 통합 분석 플랫폼 ‘펜타호’를 기반으로 컨설팅부터 인프라, 솔루션 구축, 운영 서비스까지 올인원 서비스를 제공하고 있다.

 

루마다 데이터 레이크 솔루션

 

특히 최근 출시한 HCSF(Hitachi Content Software for File)를 통해 시장 영역을 크게 넓힌다는 계획이다. HCSF는 고성능 컴퓨팅, AI, ML(머신러닝) 등에 최적화된 스토리지로, 고성능 병렬 파일시스템과 오브젝트 스토리지 HCP를 통합한 솔루션이다.

데이터 레이크는 고성능과 대규모 데이터 저장소가 필수적인데, 두 가지 조건을 충족하려면 ‘성능 제공’과 ‘데이터 수용’의 균형이 맞아야 한다. 따라서 정형, 비정형, 반정형 데이터를 한 곳에 넣어두고 용도에 따라 꺼내 쓸 수 있으며, 대형 생산라인에서 매초 쏟아지는 데이터를 실시간으로 분석하고자 하는 기업에는 오브젝트 스토리지의 장점에 속도까지 겸비한 HCSF가 최적의 선택일 수 있다. HCSF에 대한 더욱 자세한 이야기는 AI와 머신러닝을 위한 고성능 스토리지 ‘HCSF(Hitachi Content Software for File)’에서 살펴보자.

데이터 레이크, 아는 만큼 보인다

데이터 레이크 수요가 증가함에 따라 최근 효성인포메이션시스템은 ‘데이터 레이크 오퍼링’ 서비스를 시작했다. 데이터 레이크 오퍼링 서비스는 데이터 저장부터 분석, 운영 관리까지 하드웨어 인프라와 데이터 솔루션을 통합하여 기업이 필요로 하는 데이터 레이크 인프라를 구축하고 운영 전략을 컨설팅하는 차별화된 맞춤형 서비스다.

데이터 레이크 오퍼링은 오브젝트 스토리지, HCI(하이퍼컨버지드 인프라), GPU 서버, 하이엔드 스토리지 등 디지털 인프라 구현부터 데이터 레이크 관리, 데이터 통합, 데이터 카탈로그, 비즈니스 분석, 엣지 인텔리전스를 포괄하는 솔루션과 서비스까지 모두 제공한다.

또한 데이터 레이크 솔루션과 오픈소스를 함께 구성해 기업 내 데이터 조직을 위한 도커 기반의 컨테이너 환경을 구축하거나, 데이터 추출부터 처리, 보관, AI/ML 분석까지 포함하는 올인원 빅데 이터 인프라와 플랫폼 구현이 가능하다.

지난해 하반기부터 본격적으로 데이터 레이크 비즈니스를 시작한 효성인포메이션시스템은 몇몇 굵직한 프로젝트를 성공적으로 마무리한 바 있다. 관련 비즈니스 수요가 증가함에 따라 효성인포메이션시스템은 기업들이 데이터 혁신의 밑그림을 그리고 현실화할 수 있도록 종합적인 서비스를 제공하는 것은 물론, 각 산업 분야에서 의미 있는 레퍼런스를 확대함으로써 시장을 주도한다는 포 부를 밝혔다.

데이터 레이크 구현을 위한 로드맵을 구상 중이라면, 효성인포메이션시스템의 데이터 레이크 오퍼링 서비스를 기반으로 컴퓨팅 환경 현대화, 혁신 창출 그리고 성공적인 디지털 트랜스포메이션 세계로 성큼 다가설 수 있을 것이다.

 

효성인포메이션시스템의 ‘데이터 레이크 오퍼링’ 서비스

데이터 레이크 전략의 출발점, 오브젝트 스토리지를 주목하라

 

 

지난 3월, 바이라인 네트워크는 ‘엣지 투 클라우드, 데이터 레이크 분석 전략’ 웨비나를 개최했다. 본 웨비나에서는 엣지와 데이터센터, 클라우드에서 데이터를 쉽게 분석하고, 데이터 레이크를 효과적으로 구축할 수 있는 다양한 기술이 소개됐다. 이날 효성인포메이션시스템 권동수 전문위원은 ‘오브젝트 스토리지 기반의 데이터 레이크 및 사례’를 주제로 웨비나의 포문을 열었다.

데이터 레이크 프로젝트의 한계

‘데이터 레이크’라는 용어는 2014년에 처음 등장해, 지금까지 다양한 프로젝트가 진행되어 왔다. 다만, 여러 가지 시스템에 분산된 데이터, 그리고 서로 다른 접근 방법에 따라 기업당 평균 8개의 데이터 레이크가 존재했다. 데이터 레이크의 목적은 한 곳에 모든 데이터를 담아 인사이트를 도출하는 데 있지만, 데이터 자체가 분산되어 있다 보니 제대로 된 데이터 레이크 프로젝트라고 할 수 없었다. 또한, 데이터 레이크 프로젝트의 대부분은 정형 데이터에 집중되어 기하급수적으로 늘어나는 비정형 데이터와 반정형 데이터를 포함해 다양한 데이터 타입을 아우를 수 없다는 점도 문제였다.

전통적인 정보계 시스템은 정형 데이터를 기반으로 필요한 데이터를 추출하는 데 익숙한 솔루션이다. 그러나 수작업이 반드시 동반될 뿐만 아니라, 여러 형태의 데이터가 늘어나면서 취합이 어려워지고 데이터 추출에도 많은 시간이 필요하다.

정보계 시스템의 한계를 극복하기 위해 등장한 빅데이터 분석 아키텍처 역시 데이터를 각각의 업무 흐름에 맞게 분산 저장하고 분석하는 빅데이터 통합 플랫폼의 역할에 한정되어 있다는 것이 단점이다.

오브젝트 스토리지를 기반으로 하는 ‘클라우드 분석 아키텍처’라면 데이터 가치를 최대로 창출할 수 있는 최적의 데이터 레이크 전략이라고 할 수 있다.

오브젝트 스토리지 기반의 데이터 레이크

오브젝트 스토리지는 전통적인 데이터 저장소인 NAS에 비해 메타데이터 정보를 자동으로 관리한다는 점에서 큰 차이가 있다. 데이터가 수집될 때마다 새로운 정보를 메타 DB화 하므로 다양한 형태의 데이터를 쉽게 검색하고 관리할 수 있다.

사실 오브젝트 스토리지는 이미 오래전부터 아카이빙 용도로 많이 활용되던 인프라로, 근래 데이터 레이크 전략에 오브젝트 스토리지가 주목을 받는 데는 이유가 있다. 바로 하둡 에코시스템처럼 여러 환경을 지원할 수 있는 기술이 등장했기 때문이다.

효성인포메이션시스템이 제공하는 ‘루마다 데이터 레이크’는 데이터 파이프라인을 제공할 수 있는 펜타호, 오브젝트 스토리지 HCP, AI 기반으로 정보를 자동으로 관리하는 ‘데이터 카탈로그’ 솔루션을 갖추고 있다. 따라서 다양한 데이터를 효과적으로 활용함으로써 인사이트를 도출할 수 있도록 지원한다.

권동수 전문위원은 이 외에도 오브젝트 스토리지를 기반으로 데이터 레이크를 구축한 세 가지 사례를 설명하고, 데이터 레이크 구축 전략과 로드맵을 구상하려는 기업에게 필요한 효성인포메이션시스템의 서비스와 강점을 소개했다.

“성공적인 데이터 레이크 전략 수립을 위해서는 다양한 데이터를 효율적으로 활용할 수 있도록 관련 기술과 솔루션을 모두 갖춘 전문 벤더와 협력해야 합니다.”