네오클라우드 시대를 관통할 AI 인프라 전략

 

 

클라우드 개념이 바뀌고 있다. 범용 워크로드를 위해 설계된 기존 하이퍼스케일 클라우드와 달리 인공지능(AI) 학습과 추론에 특화된 ‘네오클라우드’가 주목받고 있다. 코어위브(CoreWeave), 크루소(Crusoe), 네비우스(Nebius) 같은 네오클라우드 기업은 그래픽처리장치(GPU) 집약적 인프라와 고성능 네트워킹 환경, 그리고 AI 학습 및 추론에 최적화된 프로비저닝 환경을 제공하며 기존 범용 클라우드와 차별화하고 있다.  

시장조사기관 시너지 리서치 그룹에 따르면 네오클라우드 시장은 2031년까지 연평균 58% 성장해 4000억 달러 규모에 달할 전망이다. 네오클라우드가 확산하면서 GPU 활용률을 높이기 위한 스토리지의 중요성도 커지고 있다. GPU 활용률은 가속기 성능만으로 결정되지 않는다. 스토리지 성능은 물론 데이터의 위치와 이동 방식, 보안 및 거버넌스 체계도 영향을 미친다. 결국 필요한 데이터를 얼마나 빠르고 안정적으로 GPU에 공급하느냐가 AI 인프라의 성과를 좌우한다.

GPU 활용률 가르는 스토리지 성능

전통적인 클라우드 인프라는 AI 환경을 전제로 설계되지 않았다. AI가 요구하는 초저지연과 높은 처리량, 원격 직접 메모리 액세스(RDMA: Remote Direct Memory Access) 기반 네트워킹은 기존 범용 클라우드만으로는 구현이 쉽지 않다. RDMA는 중앙처리장치(CPU) 개입을 최소화해 데이터 전송 지연을 줄이는 기술이다. 이를 통해 GPU의 데이터 대기 시간을 줄여 AI 학습과 추론 성능을 높일 수 있다. 

AI 워크로드는 기존 엔터프라이즈 환경과 요구사항 자체가 다르다. 대규모 모델 학습에서는 수백 개의 GPU가 동시에 방대한 데이터를 처리한다. 이때 스토리지는 모든 GPU에 데이터를 끊김 없이 공급해야 한다. 데이터 공급이 늦어지면 GPU는 연산을 이어가지 못하고 대기 상태에 놓인다. 특히 GPU 자원을 서비스 형태로 제공하는 네오클라우드 사업자에게 GPU 유휴 시간은 인프라 운영 효율을 떨어뜨리고 수익성에 직접적인 영향을 미친다. 

국내에서도 AI 학습 환경을 구축했지만 스토리지 입출력(I/O) 병목으로 인해 GPU 활용률이 기대에 못 미치는 사례가 적지 않다. 여러 엔지니어가 동시에 대규모 데이터셋에 접근하면 성능이 저하되는 문제도 빈번하게 발생한다. 

AI 파이프라인 전 단계를 아우르는 스토리지 설계

AI 워크로드는 데이터 수집∙전처리∙학습∙추론∙보존까지 하나의 파이프라인으로 연결된다. 각 단계에서 요구하는 스토리지 특성도 다르다. 데이터 수집 및 보존에는 대용량 오브젝트 스토리지, 학습과 파인튜닝에는 수백 개의 GPU에 데이터를 끊김 없이 공급하는 고성능 파일·블록 스토리지가 필요하다. 따라서 개별 제품의 성능만큼이나 각 스토리지를 유기적으로 연결하는 설계가 중요하다. 

많은 기업은 서로 다른 벤더의 솔루션으로 스토리지 파이프라인을 구축한다. 그러나 파편화된 구조는 운영 복잡성을 높이고 데이터 이동 과정에서 병목을 만든다. 보안과 거버넌스 정책을 일관되게 적용하기도 어렵다. 이에 블록·파일·오브젝트 스토리지를 단일 플랫폼에서 통합 관리하는 아키텍처가 주목받고 있다. 공통 제어 플레인을 기반으로 AI 파이프라인 전 단계를 일관되게 운영하면 불필요한 데이터 이동을 줄이고 운영 효율과 확장성을 함께 확보할 수 있다.

규제 준수와 데이터 주권까지 내재화해야

네오클라우드가 의료·금융·공공 등 규제 산업으로 확장하면서 컴플라이언스는 선택이 아닌 기본 요건이 되고 있다. 글로벌 IT 시장조사기관 가트너는 2028년까지 전 세계 정부의 65%가 기술 주권 요건을 도입할 것으로 전망했다. 국내 역시 공공 및 금융 분야를 중심으로 데이터 상주, 접근 통제, 감사 추적에 대한 요구가 강화되고 있다.

보안과 거버넌스 기능을 시스템 구축 이후에 추가하는 방식만으로는 이러한 요구에 대응하기 어렵다. 변경 불가 스냅샷, 랜섬웨어 탐지, 암호화, 에어갭 백업 등 데이터 보호 기능이 스토리지 플랫폼에 기본 내재돼야 한다. AI 시대 스토리지는 데이터 저장소를 넘어 규제 준수와 데이터 주권을 동시에 뒷받침하는 핵심 인프라로 진화하고 있다. 

AI 인프라 경쟁력, 컴퓨팅에서 스토리지로 확장 

과거 스토리지는 데이터를 저장하고 필요할 때 제공하는 역할에 머물렀다. 그러나 AI 시대에는 GPU 클러스터가 최대 성능을 발휘할 수 있도록 데이터를 중단 없이 공급해야 한다.

최근 기업들은 개별 GPU의 성능을 넘어 AI 데이터 처리 전반의 성능 요구를 충족하고, 보안과 거버넌스 규정을 준수할 수 있는 통합 AI 인프라에 주목하고 있다. HS효성인포메이션시스템은 블록·파일·오브젝트 스토리지를 아우르는 ‘VSP One’ 플랫폼을 기반으로 기업이 AI 파이프라인 전반의 데이터를 일관되게 운영할 수 있도록 지원한다. 히타치 밴타라의 'VSP One Object'는 AI 워크로드에 맞춘 데이터 경로를 제공해 스토리지 병목을 줄이고, 테라바이트(TB)에서 엑사바이트(EB) 규모까지 안정적으로 확장할 수 있도록 설계됐다.

AI 인프라 성능은 GPU 사양만으로 결정되지 않는다. 고가의 GPU가 쉬지 않고 연산하려면 필요한 데이터를 제때 공급할 수 있는 스토리지 환경이 뒷받침돼야 한다. 네오클라우드 시장이 성장할수록 인프라 투자에 대한 관심도 GPU 확보를 넘어 데이터 저장과 이동, 보호를 지원하는 스토리지 설계로 확장될 것이다.