추론 시대를 준비하는 기업의 새로운 선택지

 

 

다양한 AI 서비스가 기업의 업무에 빠르게 스며들면서, AI 인프라를 바라보는 관점이 달라지고 있다. 지금까지 AI 인프라의 핵심이 더 큰 모델을 만들고 빠르게 학습시키는 데 있었다면, 이제는 만들어진 AI를 실제 서비스에서 얼마나 안정적이고 효율적으로 운영할 것인지가 중요한 과제로 떠오른 것이다.

 

하나의 AI 모델이 만들어지면 이를 기반으로 AI 챗봇과 콜센터, 문서 검색, 번역, 콘텐츠 생성 등 다양한 서비스가 파생된다. 그리고 각각의 서비스에서는 사용자가 이용할 때마다 끊임없이 새로운 추론(Inference) 요청이 발생한다.

 

문제는 AI 서비스가 PoC(개념 증명)를 넘어 실제 운영 단계에 진입하면서부터다. 사용자가 증가할수록 처리해야 할 추론 요청도 많아지고, 24시간 서비스를 제공하기 위한 장비와 전력 역시 지속적으로 필요하다. 따라서 GPU 도입 비용뿐 아니라 데이터센터의 전력과 냉각, 서버 공간까지 AI 인프라를 결정하는 핵심 조건이 되고 있다.

 

이제는 기업들이 높은 성능의 인프라를 선택하는 것을 넘어, ‘제한된 비용과 전력으로 얼마나 많은 AI 업무를 효율적으로 처리할 것인가’를 고민해야 하는 시점이다.

 

 

‘학습’에서 ‘추론’으로 확장되는 AI 인프라

 

AI 워크로드를 이해하려면 먼저 학습과 추론의 차이를 살펴볼 필요가 있다. 대량의 데이터를 입력해 모델이 패턴을 익히도록 하는 것이 학습이라면, 학습된 모델이 사용자의 질문에 답하거나 입력된 데이터를 분석해 결과를 도출하는 것은 추론이다.

 

초기 AI 프로젝트에서는 ‘우리 데이터를 활용해 AI 모델을 만들 수 있는가’, ‘원하는 수준의 정확도를 확보할 수 있는가’에 대한 검증이 중요했다. 하지만 AI 기술의 활용 가능성이 충분히 확인되면서, 기업의 관심은 실제 업무와 서비스로 이동하고 있다. 사내 챗봇이 임직원의 질문에 답하고, 콜센터에서 AI가 상담 내용을 실시간으로 분석하며, 제조 현장에서는 이상 여부를 지속적으로 판단하는 식이다.

 

여기에서 주목할 부분은 ‘운영의 지속성’이다. 모델 학습은 새로운 모델을 만들거나 기존 모델을 업데이트하는 특정 시점에 집중적으로 발생하지만, 추론은 사용자가 서비스를 이용할 때마다 반복된다. 하나의 모델이 다양한 서비스에 적용돼 수년간 사용된다면 운영 과정에서 누적되는 추론 비용 역시 상당히 커질 수 있다.

 

따라서 실제 AI 서비스 운영 단계에서는 동시 사용자의 요청을 얼마나 빠르게 처리할 수 있는지, 어느 정도의 전력과 비용으로 24시간 서비스를 운영할 수 있는지가 중요하다.

 

즉, 이전까지는 주요 질문이 ‘AI 모델을 만들 수 있는가’였다면, 이제는 ‘만들어진 모델을 실제 현장에서 얼마나 안정적이고 경제적으로 운영할 수 있는가’로 확연히 달라지고 있다.

 

 

AI 추론에 최적화된 가속기, NPU

 

이러한 AI 활용의 변화 속에서 새로운 인프라 선택지로 ‘NPU’가 떠오르고 있다.

 

먼저 NPU를 CPU, GPU와 비교해 보자.는 운영체제와 애플리케이션 실행을 비롯해 다양한 업무를 처리할 수 있는 범용 프로세서다. GPU는 많은 연산을 동시에 수행하는 병렬처리에 강점이 있어, 대규모 AI 모델 학습과 다양한 병렬 연산에 폭넓게 활용된다. 반면 NPU(Neural Processing Unit)는 AI 모델의 연산, 특히 추론 업무를 효율적으로 처리하도록 설계된 AI 전용 가속기다.

 

NPU는 CPU나 GPU처럼 범용성을 목적에 두기보다, AI 추론처럼 특정한 워크로드를 처리하는데 강점이 있다. 적합한 워크로드에서는 상대적으로 적은 전력으로 추론 업무를 처리할 수 있으며, 반복되는 추론을 NPU로 분리한다면 인프라 도입 비용뿐 아니라 전력과 냉각 등을 포함한 전체 운영비를 낮추는 데도 도움이 될 수 있다.

 

NPU가 GPU를 완전히 대체하는 기술이라고 이해해서는 안 된다. 대규모 AI 모델 학습이나 범용성이 필요한 연산에서는 여전히 GPU가 중요한 역할을 한다. AI 모델과 서비스 특성에 따라 GPU 기반 추론이 적합할 수도 있고, GPU와 NPU를 함께 활용하는 것이 효율적일 수도 있다.

 

중요한 것은 어느 하나를 선택하는 것이 아니라 학습과 추론, 서비스 특성에 따라 각각의 가속기를 가장 효율적인 업무에 배치하는 것이다.

 

특히 NPU는 제조사와 제품에 따라 특성이 다르다. 언어모델과 멀티모달 추론을 목표로 하는 제품이 있는가 하면, Vision AI, 엣지 환경 등에 특화된 제품도 있다. 따라서 단순히 높은 사양의 제품을 선택하기보다 사용할 AI 모델과 서비스 규모, 동시 사용자 수, 배치 시설의 전력과 공간 등의 조건을 종합적으로 고려해야 한다.

 

 

 

 

저전력·고효율의 시너지, GreenCore와 NPU

 

NPU의 강점을 실제 AI 서비스 환경에서 효과적으로 구현하려면, 가속기 자체뿐 아니라 이를 구동하는 서버 인프라까지 함께 살펴봐야 한다. HS효성인포메이션시스템이 Arm 서버 ‘GreenCore’와 NPU를 결합한 통합 인프라에 주목하는 이유다.

 

GreenCore는 Arm 아키텍처를 기반으로 엑세스랩과 HS효성인포메이션시스템이 공동 개발한 서버로서, 저전력과 저발열, 매니코어 기반의 병렬처리가 주요 특징이다.

 

GreenCore와 NPU의 조합은 각각의 장점을 AI 추론 환경에 맞게 결합한다. GreenCore가 서비스 운영과 데이터 전처리 및 후처리를 담당하고, NPU가 AI 추론 연산을 담당하는 방식이다. 이를 통해 서버와 가속기 양쪽에서 저전력, 고효율을 지향하는 AI 추론 인프라를 구성할 수 있다.

 

특히 AI 인프라를 확대하고 싶어도 기존 데이터센터의 전력이나 랙 공간 때문에 어려움을 겪는 기업이라면, 이러한 접근이 더욱 의미 있다. AI 인프라는 가속기의 연산 성능만으로 평가하기 어렵기 때문이다. 서버가 사용하는 전력과 발생하는 열, 이를 처리하기 위한 냉각 설비, 랙 공간까지 전체적인 관점에서 살펴봐야 한다.

 

GreenCore와 NPU의 결합을 통해 전력과 발열 부담을 줄이고 동일한 공간에 더 많은 추론 자원을 구성할 수 있다면, 기존 데이터센터의 물리적 제약 속에서도 AI 서비스 확대를 위한 새로운 대안을 마련할 수 있다.

 

결국 GreenCore와 NPU의 결합은 단순히 NPU 카드 한 장의 성능을 높이는 게 아니다. 서버와 가속기, 전력, 냉각, 랙 공간까지 포함해 ‘AI 추론 인프라 전체의 효율을 높이는 것’이 핵심이다.

 

 

최적의 NPU 선택부터 PoC까지, 통합 AI 인프라 제공

 

AI 추론 인프라에서 또 하나 중요한 것은 ‘어떤 NPU를 선택할 것인가’다.

 

현재 국내외에 다양한 NPU가 등장하고 있는데, 앞서 언급한 것처럼 제조사별로 지원하는 AI 모델과 워크로드, 성능 특성이 각기 다르다. 고객 입장에서는 수많은 제품을 직접 비교하고 기존 시스템과의 호환성까지 일일이 검증하기가 쉽지 않다. 반면, HS효성인포메이션시스템은 다양한 NPU 기업과 협업하며 고객 환경에 적합한 조합을 검토 및 제안할 수 있다.

 

첫 단계는 고객의 AI 워크로드를 분석하는 데서 시작한다. 고객이 사용하려는 서비스가 LLM이나 RAG(검색 증강 생성)인지, 영상 분석인지에 따라 적합한 NPU가 달라질 수 있다. 여기에 모델의 크기와 동시 사용자 수, 응답속도, 데이터센터의 전력 및 공간 조건 등을 종합적으로 검토한다.

 

이후 적합한 NPU를 선정해 GreenCore에 탑재하고, 하드웨어와 소프트웨어의 호환성을 검증한다. 필요한 경우 AI 솔루션 전문기업과 연계해 실제 고객 서비스와 유사한 환경에서 PoC도 진행한다.

 

즉, HS효성인포메이션시스템의 역할은 단순히 Arm 서버와 NPU를 함께 공급하는 데 그치지 않는다. 고객 워크로드 분석부터 NPU 선정, GreenCore 서버 구성, 통합 검증, AI 솔루션 연계 그리고 PoC에 이르는 전 과정을 지원함으로써 고객이 여러 NPU를 직접 비교 검증하는 부담을 줄이고, 실제 업무에 최적화된 AI 인프라를 빠르게 선택할 수 있도록 돕는다.

 

 

AI, ‘잘 만드는 것’에서 ‘잘 운영하는 것’으로

 

AI 시장은 이제 모델 개발과 학습을 넘어 AI를 실제 업무와 서비스에서 지속적으로 운영하는 단계로 이동하고 있다. AI 서비스가 확대될수록 추론 요청은 늘어나고, 그만큼 운영 효율이 인프라 선택의 기준이 된다.

 

HS효성인포메이션시스템은 다양한 NPU 기업 및 AI 솔루션 기업과의 협력을 바탕으로 고객의 워크로드를 분석하고, 고객이 AI를 ‘도입하는 단계’를 넘어 실제 비즈니스에서 안정적이고 효율적으로 ‘운영하는 단계’로 나아갈 수 있도록 지원한다.

 

이제 AI 경쟁력은 얼마나 ‘뛰어난 AI를 만들 수 있는가’뿐 아니라, ‘만들어진 AI를 얼마나 효율적이고 지속 가능하게 운영할 수 있는가’에서 결정될 것이다. GreenCore와 NPU의 결합은 AI 추론 시대를 준비하는 기업에게 새로운 인프라 방향이 될 수 있을 것이다.

 

→ TMI EP10 보러 가기