지난 3월, 히타치 밴타라 연구소(Hitachi Vantara Labs)는 머신러닝 모델 매니지먼트(Machine Learning Model Management, 이하 MLMM)를 발표했다. 이는 머신러닝 오케스트레이션을 통해 데이터 사이언티스트가 지도 모델(Supervised Model)을 모니터링, 테스트, 재교육 및 재배포할 수 있도록 해주는 툴로, 빌트인 형태로 펜타호의 데이터 파이프라인에 활용할 수 있어 끊임없이 변화하는 환경에 대응해 모델 업데이트를 간편히 수행할 수 있다. 비즈니스 성과는 향상시키면서 리스크는 줄일 수 있게 된 것이다. 뿐만 아니라 향상된 투명성으로 알고리즘에 대한 통찰력과 신뢰도도 높일 수 있다.
머신러닝은 별도의 프로그래밍 없이 샘플을 입력하는 것만으로 모델을 구축함으로써 데이터로 부터 습득하고 예측하는 알고리즘을 연구 및 분석한다. 이 알고리즘과 모델은 핵심 경쟁력이 될 수 있는 반면, 잠재적인 리스크도 안고 있다. 모델이 일단 생산 프로세스에 적용되면 끊임없이 변화하는 조건에 대응해 지속적인 모니터링, 테스트, 재교육 및 재배포되어야 한다. 하지만 이러한 작업이 현재는 사람의 손에 의존하고 있기 때문에 주기적으로 수행되기 어렵다. 결과적으로 예측 정확도를 악화시키고, 데이터 주도적인 비즈니스에 악영향을 미치게 되는 것이다.
히타치 밴타라 리서치의 SVP인 데이비드 메닝거는 “우리가 연구한 바에 따르면 조직의 2/3는 예측 분석 모델 업데이트를 위한 자동화 프로세스가 없다. 1/4 정도만이 일 단위로, 약 1/3이 주 단위로 업데이트되고 있으며 과반수가 월 단위로 업데이트되고 있는 것으로 조사되었다. 낡은 모델은 어느 순간 기업에 중대한 리스크로 돌변할 수 있다는 점을 잊지 말아야 한다.”고 지적했다.
MLMM은 머신러닝 모델이 주기적으로 업데이트 되어야만 한다는 사실을 인지하는 것에서부터 출발한다. 데이터의 기본적인 유통 방식은 끊임없이 변화하고, 시간이 흐르면서 모델 예측의 정확성도 떨어지기 때문이다.
그림에서 보듯이 MLMM는 모니터링, 평가, 비교, 재구축, 총 4단계로 나눌 수 있다. 각 단계에는 챔피언-도전자 전략이 적용된다. 이는 2개 이상의 모델을 비교해 최상의 성능을 제공하는 모델을 추출하는 것으로, 모든 모델은 다른 방식으로 학습되거나 다른 알고리즘을 사용할 수도 있지만 기본적으로는 같은 데이터에 대해 운영되는 것을 기본으로 한다.
(그림) 데이터 분석 프로세스와 결합된 MLMM 4단계
1 모니터링(Monitor): 챔피언 모델의 성능 정확도를 판단하기 위해서는 모든 모델을 지속적으로 모니터링 해야 한다. 모델의 성능이 저하된 사실을 탐지해낸다는 것은 주요 데이터의 특징이 변화됨을 끊임없이 감지하는 것을 의미하므로, 궁극적으로는 비즈니스 전략의 긍정적인 결과로 연결된다.
예를 들어 소매유통업 분야에서 활용되는 사기(Fraud) 예측 시나리오의 경우, 초기 데이터의 특성이 바뀌는 현재 챔피언 모델의 성능은 저하될 수밖에 없다. 새로운 모델을 통해 현재의 챔피언 모델이 수행해내지 못하는 ‘예측’을 기반으로 신종 사기 기법에 대응할 수 있게 되면, 많은 잠재적인 사기 거래를 예방하게 된다.
2 평가(Evaluate): 현 모델의 정확성을 평가하는 평가 매트릭스를 수립하기 위해, 현 챔피언 모델에 대한 평가는 필수적이다. 이 평가는 성능 매트릭스로도 연결되며, 상황 파악을 위한 상세한 셋 비주얼(Set Visual)과 프로그래밍 데이터를 제공할 수도 있다. 만약 데이터의 특성이 변화하는 등의 이유로 모델의 정확도가 사전 정의된 수준으로까지 저하되면, 성능 저하 알림이나 자동화 매커니즘이 작동된다. 이 때, 모델을 재교육하거나 새 알고리즘으로 전환할 필요가 있는지를 결정하기도 한다.
3 비교(Compare): 전(前) 단계에서 모든 모델의 성능 정확도를 평가했기 때문에, 챔피언-도전자 모델은 평과 결과를 상호 비교함으로써 현 시점에 어떤 모델의 성능이 가장 좋은지 결정할 수 있다. 가장 성능이 높은 모델이 현재의 챔피언 모델이 되며, 나머지 도전자 재구축이 필요하다.
4 재구축(Rebuild): 데이터의 현재 상태를 기반으로 전체 모델이 재구성되므로 최고의 성능을 갖춘 모델이 챔피언으로 다시 승격된다. 새로운 챔피언은 PDI(Pentaho Data Integration)를 통해 변환되어 새로운 환경에 핫 스왑 및 배포되거나 재구축된다.
위와 같은 4단계의 MLMM는 예정된 일정에 맞춰 지속적인 프로세스로 운영되므로, 주기적인 모델 재구축에 필요한 수작업을 줄일 수 있다.
히타치 밴타라가 구현한 MLMM은 펜타호 머신 인텔리전스(Pentaho Machine Intelligence, 이하 PMI)를 통해 머신러닝을 더욱 편리하게 해주는 데이터 흐름의 한 부분으로 녹아있다. 머신러닝 모델 구현을 위한 전체 프로세스에서 데이터 준비가 80%의 시간을 차지하기도 하는데, 이는 개발자의 코딩 또는 스크립팅에 기반하기 때문이다. 하지만 PMI를 통해 데이터 분석가들은 별도의 코드 작성 없이 다양한 기계 학습 알고리즘에 직접 액세스할 수 있다.
간단히 말해, 히타치 밴타라가 제공하는 MLMM은 펜타호와의 결합을 통해 데이터 분석가, 비즈니스 분석가, 데이터 사이언티스트뿐 아니라 다른 사용자들도 GUI 인터페이스를 통해 모든 종류의 데이터 전환, 혼합 및 정제를 간단히 수행할 수 있다. 또한 전체 데이터 플로우에서 데이터 변환을 직접 설계하고 다양한 머신러닝 알고리즘에 직접 액세스할 수도 있다.
'TECH ZOOM' 카테고리의 다른 글
| 4차 산업 혁명 시대의 SDDC, 누가 주도할 것인가? (0) | 2018.07.05 |
|---|---|
| 인공지능과 데이터센터, 통합의 시작 (0) | 2018.06.26 |
| 지금은 빅데이터 시대! 데이터 품질 관리로 경쟁 우위를 선점하라 (0) | 2018.06.26 |
