학습에서 추론으로, AI 인프라의 무게중심이 이동한다

 

 

기업 AI 투자 절반 이상이 이제 모델을 만드는 일이 아니라 모델을 실행하는 일에 들어간다. 데이터센터가 오랫동안 다뤄온 스토리지 장애나 용량 예측 실패, 리프레시 주기 지연과 같은 문제는 이미 알려진 것이며 이에 대한 대응 매뉴얼을 갖추고 있어 해결하는 데 익숙하다. 그러나 2026년의 투자업무 부담은 다르다. 그동안 기업의 AI 투자는 모델 학습에 집중돼 있었지만 AI 인프라의 무게중심은 어느새 학습에서 추론으로 완전히 넘어갔다. 멈추지 않고 하루 종일 대규모로 돌아가는 워크로드다.

 

이 전환은 더 이상 전망이 아니라 이미 벌어지고 있는 현실이다. 진짜 문제는 추론이 학습보다 기술적으로 까다로워서가 아니다. 정작 이를 실제 운영 환경에서 겪어본 인프라 조직이 많지 않다는 데 있다. 뒤늦게 대응에 나설 때쯤이면 기준선은 이미 저만치 앞서 있을 것이다.

 

 

일시적 학습과 영구적 추론

 

딜로이트에 따르면 2025년 전체 AI 연산에서 추론이 차지하는 비중이 절반 수준에 이르렀다. 2023년만 해도 3분의 1에 그쳤던 점을 감안하면 빠른 증가세다. 여러 분석에서도 프로덕션 AI 시스템의 전체 운영 비용 중 80~90%가 추론 단계에서 발생한다는 결과가 공통적으로 확인된다. 개별 요청 하나하나의 비용이 크기 때문이 아니라 시스템이 멈추지 않고 계속 가동되기 때문에 생기는 구조다.

 

한 번 배포된 모델은 이후 끊임없이 작동한다. 학습이 데이터센터에 순간적 부하를 준다면 추론은 데이터센터 구조 자체를 바꿔놓는다. 새로운 기능이나 워크플로우 자동화 AI가 내장된 서비스가 하나씩 늘어날 때마다 인프라가 감당해야 할 기준선도 함께 올라가고, 이 기준선은 다시 내려가지 않는다. 기존과 전혀 다른 비용 구조인 만큼 다른 접근의 인프라 전략이 요구된다.

 

 

추론이 온프레미스를 다시 불러들이는 이유

 

초창기 기업 AI는 클라우드 기반으로 확산됐다. 실험 단계에서는 합리적 선택이었다. 그런데 추론이 실제 운영 단계로 넘어가면서 계산이 복잡해졌다. 지연시간을 줄이려면 데이터와 가까운 곳에서 연산이 이뤄져야 하고, 규모가 커질수록 비용 부담은 빠르게 누적된다. 여기에 대용량이거나 통제 대상 규제 대상인 데이터일수록 옮기기보다 그 자리에서 연산하는 편이 낫다는 이른바 데이터 중력(Data Gravity) 현상도 다시 힘을 얻고 있다.

 

클라우드가 여전히 학습이나 실험 순간적인 트래픽 처리에 적합한 점은 변하지 않는다. 다만 프로덕션 단계의 추론에서는 하이브리드 구조가 과도기적 대안이 아니라 처음부터 의도된 설계로 자리 잡고 있다. 앞서가는 조직들은 클라우드와 온프레미스 중 하나를 택하기보다 데이터의 위치와 지연시간 요구, 거버넌스 조건, 비용 구조를 따져 워크로드를 배치하는 쪽을 택한다. 그리고 그 결론은 점점 더 온프레미스로 향하고 있다.

 

 

컴퓨팅 문제이자 데이터 문제

 

AI가 운영 단계로 들어서면 병목은 연산 능력이 아닌 데이터 접근성에서 발생하는 경우가 많다. 추론 워크로드는 읽기 비중이 높고 지연시간에 민감하며 무엇보다 최신 상태로 관리되는 데이터를 필요로 한다. 모델은 과거 스냅샷이 아니라, 실시간으로 살아있는 기업 데이터로 작동한다. 이 데이터는 대부분 애초에 AI 파이프라인과 연동될 것을 고려하지 않고 설계된 온프레미스 시스템과 운영 데이터베이스 안에 존재한다. 실질적인 문제는 GPU 클러스터가 아닌 데이터가 있는 위치와 모델이 이 데이터를 필요로 하는 위치 사이의 간극에서 발생한다.

 

데이터를 별도 파이프라인으로 복사하는 방식은 지연시간과 거버넌스 리스크를 함께 키운다. 규제 산업에서는 데이터가 한 번 이동할 때마다 그 자체가 컴플라이언스 이슈가 된다. 결국 필요한 것은 데이터가 원래 있던 자리에서 이를 필요로 하는 컴퓨팅과 가까운 위치에서 직접 접근하는 구조다. 추론이 상시화 되고 에이전트 중심으로 진화할수록 모델이 필요로 하는 것도 고정된 데이터셋이 아니라 정책에 따라 반복 접근 가능한 살아있는 운영 데이터로 바뀐다.

 

히타치 밴타라는 이 문제를 설계 단계부터 다룬다. ‘VSP(Virtual Storage Platform) 360’은 기업 데이터 인프라를 위한 AI 기반 컨트롤 플레인이다. 스토리지와 데이터 보호 플랫폼 서비스의 프로비저닝 및 운영 전반을 조율해 프로덕션 추론이 매일 요구하는 일관성과 성능 가용성을 뒷받침한다. 이 위에서 히타치 IQ 스튜디오는 추론 워크로드가 사용하는 AI 기반 데이터 관리 및 오케스트레이션 서비스를 제공한다. 데이터를 복사하거나 별도로 스테이징 할 필요 없이 정책 기반 액세스를 통해 엔터프라이즈 데이터에 직접 접근할 수 있도록 지원하며 모델에 제공되는 데이터에 대해 거버넌스, 데이터 계보, 품질 관리 및 관찰 가능성을 적용한다.

 

비용 구조도 달라진다. 추론은 한 번 자리 잡으면 운영에 깊숙이 내재돼 줄이기 어려운 유틸리티에 가깝다. 인프라 운영조직이 고정된 프로젝트 기반 사고방식에서 벗어나 반복되는 비용을 지속적으로 최적화하는 소비 모델로 옮겨가야 하는 이유이다.

 

 

다음 단계로 넘어가는 데이터센터

 

이 전환을 앞서 이끄는 조직들에게는 공통된 패턴이 나타난다. 피크 시간대 수요에 맞춘 계획에서 기준선 관리로, 자산 소유에서 서비스 소비로, 일회성 프로젝트에서 매일 안정적으로 작동해야 하는 상시 운영 플랫폼으로 무게중심이 옮겨가고 있다.

 

모델을 빠르게 학습시키는 경쟁은 이미 지나간 국면이다. 지금부터는 거버넌스가 적용되고 접근 가능하며 컴퓨팅과 가까운 곳에 있는 데이터로 추론을 얼마나 흔들림 없이 운영하느냐가 경쟁력을 가른다. 준비된 인프라만이 다음 국면에서 살아남는다.