본문 바로가기

TECH ZOOM

데이터를 담는 그릇이 경쟁력을 바꾼다!

 

 

AI 활용이 기업 전반으로 확산되면서 데이터 관리 방식도 빠르게 변화하고 있다. 특히 이미지와 영상, 음성 등 비정형 데이터가 폭발적으로 증가하면서 기존 스토리지만으로는 저장과 활용, 보호까지 모두 만족시키기 어려워졌다.

 

여기에 랜섬웨어와 같은 사이버 위협이 일상이 된 지금, 기업들은 데이터를 얼마나 많이 저장하느냐보다 얼마나 안전하게 보관하고, 필요할 때 효율적으로 활용할 수 있느냐가 더욱 중요한 조건이 됐다. 이러한 변화 속에서 다시 주목받고 있는 솔루션이 바로 오브젝트 스토리지(Object Storage). 그동안 아카이브와 데이터 장기 보관용으로 인식되어 온 오브젝트 스토리지는 이제 AI 데이터 플랫폼과 사이버 복원력(Cyber Resilience)을 위한 핵심 인프라로 진화하고 있다.

 

 

오브젝트 스토리지의 재발견

 

오브젝트 스토리지가 데이터를 저장하는 방식은 파일 및 블록 스토리지와 어떻게 다른 지 먼저 알아보자.

 

파일 스토리지는 파일과 폴더 구조로 데이터를 저장하고, 블록 스토리지는 데이터를 작은 블록 단위로 나누어 저장한다. 따라서 파일 스토리지는 여러 사용자가 파일을 공유하거나, 공통으로 파일을 사용하는 환경에 적합하고, 블록 스토리지는 속도와 안정성이 중요한 미션 크리티컬 업무에 주로 사용된다.

 

한편, 오브젝트 스토리지는 데이터와 메타데이터를 하나의오브젝트로 묶어 저장한다. 메타데이터에는 파일 생성 시점부터 생성 장비, 업무 정보, 위치 등 다양한 정보를 함께 저장할 수 있어 데이터 자체뿐 아니라 데이터의 의미까지 함께 관리할 수 있다. 또한 네트워크 기반이지만, 파일 스토리지처럼 서버에 마운트해서 사용하는 방식이 아닌, S3같은 RESTful API를 통해 데이터를 업로드 및 다운로드한다.

 

오브젝트 스토리지의 또 하나의 큰 특징은 계층형 폴더 구조가 아닌 플랫(Flat) 구조라는 점이다.

파일 스토리지는 폴더와 하위 폴더가 계속 이어지는 구조이기 때문에 데이터가 기하급수적으로 증가하면, 관리 부담도 그에 비례해 높아진다. 반면, 오브젝트 스토리지는 각각의 데이터를 고유 ID로 관리하기 때문에 수억 건 이상의 데이터를 저장하더라도 유연하게 확장할 수 있다.

 

이러한 확장성 덕분에 페타바이트(PB)는 물론 엑사바이트(EB) 규모의 대용량 환경까지 대응할 수 있으며, AI 시대의 비정형 데이터를 저장하기에 가장 적합한 플랫폼으로 평가받고 있다.

 

오브젝트 스토리지가 다시 주목받는 이유 역시 여기에 있다.

 

과거에는 데이터를 얼마나 빠르게 저장하는지가 중요했다면, 지금은 대량의 데이터를 안전하게 보관하면서 필요할 때 즉시 활용할 수 있는 환경이 더 중요하다. 특히 AI, IoT, 엣지 컴퓨팅이 확산하면서 이미지나 영상, 음성처럼 형태가 일정하지 않은 기업 내외부의 비정형 데이터가 급격히 증가했고, 기업들은 새로운 데이터 저장 전략을 고민하게 됐다.

 

이때, 단순한 저장소를 넘어 AI 데이터 활용과 데이터 보호를 동시에 수행하는 핵심 플랫폼으로 오브젝트 스토리지가 떠오르게 된 것이다.

 

 

데이터를 저장하는 공간에서 AI 플랫폼으로 역할 변모

 

AI 프로젝트에서 가장 중요한 자산은모델이 아닌 데이터. 자율주행에는 방대한 주행 영상이 필요하고, 제조업에서는 공정이나 품질 검사 이미지가, 고객센터에서는 상담 등을 통한 음성과 텍스트 데이터가 끊임없이 생성된다. 이처럼 대부분의 AI 데이터는 비정형 데이터이며 규모 또한 매우 크다.

 

오브젝트 스토리지는 이러한 데이터를 안정적으로 저장하는 것은 물론, 메타데이터를 함께 관리해 필요한 데이터를 빠르게 검색하고 AI 학습 데이터로 활용할 수 있도록 지원한다.

 

예를 들어 제조 현장에서 발생한 이미지라면 어느 공정에서 생성된 데이터인지, 음성 파일이라면 어느 기간의 어떤 고객 데이터인지까지 함께 관리할 수 있어 AI 분석 효율을 크게 높일 수 있다. 최근에는 단순 저장을 넘어 데이터 레이크와 데이터 레이크하우스 구축의 핵심 플랫폼으로도 활용되고 있다.

 

물론, AI 환경에서 데이터를 처리하는 데는 고성능 스토리지가 유용하다는 의견도 있다. 그러나 높은 비용을 감수하면서까지 모든 데이터를 고성능 스토리지에 보관할 필요는 없다. 바로 학습에 필요한 데이터는 고성능 스토리지에 저장하고, 과거의 데이터나 활용 빈도가 낮은 콜드 데이터는 오브젝트 스토리지에 저장하는 방식이 더 효율적이다. 오브젝트 스토리지는 대규모 AI 데이터를 장기간 저장하는 동시에 전체 데이터 플랫폼의 비용 효율을 높이는 강점이 있다.

 

HS효성인포메이션시스템의 대표적인 오브젝트 스토리지 ‘VSP One Object’를 살펴보면, AI 환경에 적합한 다양한 기능을 제공함을 알 수 있다.

 

대표적으로 Data Lifecycle Management 기능은 데이터의 활용 주기에 따라 자동으로 이동하거나 삭제하도록 정책을 설정할 수 있어 저장 공간을 효율적으로 관리할 수 있다. 또한 S3 Tables Iceberg Catalog를 지원해 저장된 데이터를 단순한 파일이 아니라 분석 가능한 테이블 형태로 관리할 수 있다.

 

기존에는 데이터를 오브젝트 스토리지에 저장한 뒤 다시 데이터 웨어하우스로 옮겨 분석해야 했다면, 이제는 데이터를 더 빠르게 조회하고 SQL 기반 분석 환경과도 자연스럽게 연계할 수 있다. , 데이터를 단순히 저장하는 것을 넘어 AI 학습과 분석까지 이어지는 데이터 플랫폼으로 진화한 것이다.

 

일례로, 오브젝트 스토리지를 AI 데이터 관리에 활용한 대표 사례로 자율주행 AI 혁신 기업 스트라드비젼을 들 수 있다. 스트라드비젼은 방대한 자율주행 데이터를 안정적으로 저장하고 활용하기 위해 HS효성인포메이션시스템의 오브젝트 스토리지를 도입했다. 이를 통해 대용량 비정형 데이터를 온프레미스 환경에서 안정적으로 관리하는 동시에, 클라우드 대비 비용 절감 효과도 거둘 수 있었다.

 

 

랜섬웨어 시대, 데이터를 지키는 마지막 방어선

 

오브젝트 스토리지가 다시 주목받는 또 하나의 이유는사이버 보안이다.

 

최근에는 랜섬웨어가 업무 데이터뿐 아니라 백업 데이터까지 공격하는 사례가 증가하고 있다. 기존의 파일 스토리지는 서버에 마운트 된 형태로 사용되기 때문에 랜섬웨어가 파일 시스템을 통해 저장소까지 접근할 가능성이 있다.

 

반면, 오브젝트 스토리지는 API 기반으로 데이터를 입·출력하는 구조이기 때문에 일반적인 파일 시스템과는 접근 방식이 다르다. 여기에 WORM(Write Once Read Many), Object Lock, 버저닝(Versioning) 기능을 함께 활용하면 저장된 데이터를 임의로 수정하거나 삭제하지 못하도록 보호할 수 있다. 버저닝 기능은 데이터가 변경되더라도 이전 버전을 유지하기 때문에 문제가 발생했을 때 손쉽게 복구할 수 있도록 지원한다.

 

특히 백업 소프트웨어와 오브젝트 스토리지의 변경불가 기능 등 여러 단계의 방어 체계를 함께 구성하면, 저장소 단계까지 보호하는 다층 보안 체계를 구축할 수 있다. 병원과 금융, 공공기관 등 서비스 연속성이 중요한 산업에서 오브젝트 스토리지가 빠르게 확산되는 이유도 여기에 있다.

 

 

낮아진 도입 장벽으로 활용도 극대화

 

이처럼 오브젝트 스토리지는 많은 장점이 있었지만, 과거에는 도입이 쉽지 않았다. 가장 큰 이유는 익숙하지 않은 사용 방식이었다. 파일 스토리지는 일반적인 네트워크 드라이브처럼 사용할 수 있지만, 오브젝트 스토리지는 API 기반으로 동작하기 때문에 애플리케이션과의 연동 과정에서 별도의 개발이 필요한 경우가 많았다.

 

그러나 최근에는 이러한 장벽이 낮아지고 있다. 가장 큰 변화는 S3 프로토콜의 표준화다. 현재 대부분의 AI 플랫폼과 데이터 분석 솔루션, 백업 소프트웨어가 S3 인터페이스를 기본 지원하면서 전에 비해 오브젝트 스토리지와 연동이 훨씬 쉬워졌다. 또한 S3 Browser와 같은 GUI 기반 관리 도구도 다양하게 제공되기 때문에 개발자가 아니더라도 데이터를 손쉽게 관리할 수 있다.

 

무엇보다 활용 사례가 크게 늘어난 점도 중요한 변화다. 과거에는 전자문서 보관이나 아카이브 중심으로 오브젝트 스토리지를 사용했다면, 지금은 AI 데이터 저장, 데이터 레이크, 클라우드 연계, 백업 저장소 등 다양한 영역에서 활용되고 있다.

 

기업들이 오브젝트 스토리지를 검토할 때 가장 중요하게 보는 요소도 단순한 저장 목적이 아니다. 운영자는 안정성과 관리 편의성을, 개발자나 현업 담당자는 S3 호환성과 API 기능, 애플리케이션 연동성과 데이터 활용 편의성을 우선적으로 고려한다. 따라서 오브젝트 스토리지를 도입할 때 중요한 것은 기능 자체보다 업무 및 활용 목적에 맞는 스토리지 구조를 선택하는 것이다.

 

 

 

 

데이터 기반 인사이트를 도출하는 최고의 솔루션

 

AI 시대의 데이터는 단순히 저장해야 하는 자산이 아니라기업 경쟁력을 결정하는 핵심 자산이다.

 

오브젝트 스토리지는 대규모 비정형 데이터를 안정적으로 저장하는 것을 넘어, AI 분석을 위한 데이터 플랫폼이자 랜섬웨어 시대 데이터를 보호하는 사이버 복원력의 핵심 기반으로 진화하고 있다.

 

HS효성인포메이션시스템은 다양한 산업에서 축적한 오브젝트 스토리지 구축 경험과 전문 컨설팅 역량을 바탕으로 고객 환경에 최적화된 데이터 플랫폼을 제공하고 있다. 데이터 생성부터 저장, AI 활용, 보안까지 전 과정을 아우르는 통합적인 접근을 통해 고객이 변화하는 IT 환경에 효과적으로 대응할 수 있도록 지원하는 것이 HS효성인포메이션시스템의 강점이다.

 

이제 오브젝트 스토리지는데이터를 저장하는 장비가 아니라, ‘AI 시대 기업 경쟁력을 완성하는 핵심 인프라로 더욱 중요한 역할을 수행하게 될 것이다.

 

 

TMI 에피소드 09 <AI 시대의 데이터 저장법, 오브젝트 스토리지 A to Z > 보러가기>

What Inspires Sustainable Technology?