AI와 레이크하우스를 위한 차세대 분석 엔진, 오브젝트 스토리지

 

 

기업들이 데이터를 다루는 목적은 단순하다. 필요한 사람과 시스템, 나아가 인공지능(AI)에게 적절한 정보를 적절한 시점에 제공하는 것이다. 하지만 지금까지도 이 단순한 목적을 달성하는 것이 그렇게 쉬운 일은 아니다.

 

데이터 웨어하우스가 등장했을 때는 데이터 변환과 저장에 오랜 시간이 걸렸고, 셀프 서비스 비즈니스 인텔리전스(BI)가 보편화 되었을 때도 느린 개발 주기와 제한된 데이터 구조가 발목을 잡았다. 이후 '데이터 레이크'가 부상했지만 정제되지 않은 데이터가 쌓이면서 '데이터 늪'이라는 오명을 쓰기도 했다. 데이터를 제대로 활용하기 위해서는 저장, 정제, 분석이 자연스럽게 이어지는 환경이 필요하다.

 

 

오브젝트 스토리지의 새로운 가능성

 

이 지점에서 주목받고 있는 것이 바로 오브젝트 스토리지다. 오브젝트 스토리지는 데이터를 파일이나 블록 단위가 아니라 객체(오브젝트) 단위로 저장한다. 이 방식은 구조화된 데이터뿐만 아니라 이미지, 동영상, 로그와 같은 비정형 데이터까지 안정적으로 보관할 수 있게 한다. 특히 한 번 기록된 객체는 변경할 수 없는 불변성(immutability) 구조를 가진다. 이로 인해 데이터 무결성과 장기 보존 측면에서 큰 장점을 제공해 데이터 레이크로 활용되고 있다.

 

그러나 기존 오브젝트 스토리지는 저장소로서의 역할에는 충실했지만 데이터 활용에는 제약이 있었다. 중복되거나 활용되지 않는 다크 데이터가 대량으로 축적되었고, 필요한 데이터를 빠르게 검색·분석하기도 쉽지 않았다. 따라서 활용과 분석을 위해 다른 스토리지로 이동하고 정제하는 과정을 거치는 것이 일반적이었다.

 

최근에는 오브젝트 스토리지가 한 단계 진화하고 있다. 단순한 보관소를 넘어 데이터를 곧바로 분석과 활용으로 연결할 수 있는 ‘차세대 분석 플랫폼’으로서의 방향을 제시하고 있다.

 

 

'VSP 원 오브젝트'가 보여주는 혁신

 

HS 효성인포메이션시스템의 VSP 원 오브젝트(VSP One Object)는 이러한 변화를 잘 보여주는 대표 사례다.

 

VSP 원 오브젝트는 업계 최초로 온프레미스 환경에서 네이티브 S3 테이블을 지원한다. 그동안 기업은 데이터를 분석하기 위해 ETL(Extract-Transform-Load) 과정을 거쳐 다른 시스템으로 옮겨야 했지만, 이제는 데이터를 이동하지 않고도 오브젝트 스토리지에서 내장된 SQL 엔진을 통해 직접 쿼리를 통한 분석을 수행할 수 있다. 또한 오픈소스 데이터 테이블 포맷의 대표 격인 아파치 아이스버그(Apache Iceberg) 카탈로그가 내장되어 별도의 모듈 없이 바로 사용 가능하며 고급 메타 데이터 서비스를 제공한다. 이러한 기본 제공 기능과 결합된 VSP 원 오브젝트는 데이터 레이크하우스 아키텍처와 AI 워크로드에 최적화된 기반을 제공한다.

 

여기에 더해 S3 메타데이터 로깅(metadata logging) 기능도 추가되었다. 객체가 생성·수정·삭제될 때마다 해당 이벤트가 불변 로그로 기록되며 S3 테이블 형태로 관리된다. 이를 통해 기업은 데이터 활동의 전체 이력과 객체별 메타데이터를 확보할 수 있고, 아파치 아이스버그 클라이언트나 SQL 엔진과의 통합을 통해 데이터 거버넌스, 관측 가능성, 성능을 크게 향상시킬 수 있다. VSP 원 오브젝트는 데이터를 단순히 저장하는 데 그치지 않고 분석 가능한 자산으로 즉시 전환할 수 있는 기반을 제공한다.

 

 

데이터 활용 시대의 열쇠 

 

오늘날 기업은 AI 모델 학습, 실시간 분석, 폭발적으로 늘어나는 데이터 관리라는 도전에 직면해 있다. 이 과정에서 어떤 인프라를 선택하느냐가 곧 기업의 데이터 경쟁력으로 이어진다.

 

오브젝트 스토리지는 이제 단순한 보관소가 아니다. 네이티브 S3 테이블 지원, 지능형 메타데이터 서비스, AI 및 레이크하우스 워크로드 최적화 같은 혁신적 기능을 통해 데이터를 곧바로 의사결정과 AI 학습에 활용할 수 있는 분석 플랫폼으로 진화하고 있다.

 

데이터 시대에 기업이 성공하기 위해서는 저장·정제·분석이 끊김 없이 이어지는 인프라가 필요하다. 오브젝트 스토리지를 전략적 자산으로 재정의하는 것이야 말로 데이터 활용 시대의 승자가 되는 가장 확실한 길이다.