중복제거 기능은 시장에서 이미 오랜 기간 사용되어 왔으나, 성능에 미치는 영향을 고려하였을 때 주요 파일이 서비스되는 동안에는 시도되지 않았던 것이 사실입니다. 피크 타임을 피해 작업 일정이 정해질 때까지, 데이터는 중복제거가 되지 않은 채 방치됩니다. 이는 결국 용량 소비에 대한 “세금”을 지불하는 개념으로 시스템이 운영되어 데이터 중복제거 본연의 목표와는 거리가 멀어지게 됩니다. 또한 이 경우 중복 제거를 위해 파일을 별도로 모니터링 후 스케줄링 해야 하므로 복잡성은 더욱 증가하게 됩니다.
Hitachi Data Systems의 메인 스토리지 중복제거
HDS는 Hitachi NAS (HNAS) 및 Hitachi Unified Storage (HUS) 제품군에서 메인 스토리지 중복 제거 기능을 제공하고 있습니다. 성능에 영향을 미치지 않는 Hitachi의 중복제거는 다음과 같은 특징을 지닙니다.
빠른 중복제거
HDS의 독보적인 NAS 아키텍처 성능에 영향을 미치지 않는 중복제거 기능에는 FPGA의 오브젝트 기반 File system Offload Engine (FOE)이 포함되어 있습니다. 즉, 중복제거의 가장 어려운 부분인 해싱 및 청킹(chunking)이 파일 속성을 유지하면서 동작함으로써 기타 NAS 어플라이언스와의 차별화 된 기능을 제공하는 것입니다. 특히 해싱 및 청킹은 퓨어 소프트웨어가 아닌 하드웨어에서 더욱 유효합니다. 기본 해싱/청킹 엔진 라이선스는 무료로 제공되며 사용자 성능 요구에 따라 3개의 추가 엔진에 대해 비용이 부과될 수 있습니다. (참고: 추가 엔진은 병렬처리를 하므로 실제적인 중복제거 성능은 4배 정도 향상됩니다)
고객 수요
HDS는 2013년 1월 초 중복제거 기능이 탑재된 HNAS OS 최신 버전을 출시했으며, 시장의 반응은 기대 이상으로 폭발적이었습니다. 공급의 대부분이 베이스 버전이었으며, 고객들의 요구를 충분히 만족시킬 수 있었습니다. 물론 그 이상의 성능을 원하는 고객들에게는 프리미엄 라이선스를 공급해 시스템 최적화를 지원했습니다.
고객 도입 사례
포춘 500대 기업이자 글로벌 반도체 및 전자 전기 기업인 한 고객은 최신 버전 출시 초기 HDS의 중복 제거 기능과 타 벤더의 제품을 비교했습니다. 그들은 HNAS의 중복 제거 방법론이 여타 제품들 보다 우수하다고 평가했으며, 16분안에 120만 개의 파일을 중복제거 할 수 있는 단일 해싱/청킹 엔진의 속도에 감탄했습니다. 무엇보다 그들이 놀라움을 표현했던 부분은 최고 파일 서비스 구간에도 거의 영향을 미치지 않았다는 점입니다. 그 결과 이 회사는 자사의 IT 환경에 HNAS 중복 제거를 도입하기로 결정했습니다.
자동화를 통한 파일 서비스 성능에 미치는 영향 최소화
파일 서비스 작업에 미치는 영향을 최소화 할 수 있는 비밀은 바로 인텔리전트 중복제거 프로세스입니다. 새로운 데이터가 추가되는 시점을 파악해 시스템이 과도하게 작동되지 않을 때 자동으로 중복제거 엔진을 가동시키는 것입니다. 파일 서비스 워크로드가 사전에 정의된 한계점(threshold)에 도달하게 되면 중복제거 엔진은 파일 서비스 성능에 영향을 미치지 않도록 속도를 조절했다가, 시스템이 다시 정상상태로 돌아오면 자동으로 속도를 높이는 방식으로 운영됩니다.
최소한의 중복제거 과부화
평상시 데이터는 데이터 패스 외에 중복제거 프로세스의 회수 (Reclamation) 단계 용량이 적용되어 파일 시스템에 저장됩니다. 그러나 회수 (Reclamation) 단계에서는 이미 파일 시스템의 데이터를 탐색해 중복되는 부분을 제거합니다. 이러한 과정이 가능하기 위해서는 해시의 데이터베이스가 중복제거 가능한 청크를 확인할 수 있어야 하며 HDS의 독보적인 아키텍처는 데이터베이스를 매우 용량 효율적으로 운영할 수 있도록 짜여 있습니다. 시장에서의 경쟁 우위가 지속될 수 있는 것은 이러한 최고 수준의 효율적인 데이터베이스와 독자적인 접근법의 저장 방식이 결합된 덕분이라고 분석됩니다.
엔터프라이즈급 확장성
HNAS 파일 시스템의 최대 크기는 256TB로, 전체 파일 시스템의 데이터가 중복제거의 대상이 됩니다. 시중의 타 제품들의 경우 임의적으로 한계를 둔다는 사실은 다소 흥미로운 부분입니다. 가령 100TB로 중복제거가 제한된 경우 고객들은 더 높은 “과세 등급”을 적용 받게 되기 때문입니다. 또한 수 페타바이트 까지 확장 가능한 HNAS 글로벌 네임스페이스는 일반적인 디렉토리 어드레스 스페이스 내에서 여러 개의 HNAS 파일 시스템(중복제거 된 시스템도 포함)을 가상화시킬 수 있으므로 엔터프라이즈급의 확장성이 보장됩니다.
중복제거 효율성
중복제거의 효율성은 데이터셋 및 파일 시스템 블록의 사이즈로 좌우됩니다. 따라서 서버 가상화 및 VDI 환경에서 중복제거는 매우 효율적으로 이루어질 수 있습니다. 한편 효율성은 알고리즘에 따라 서로 비교할 수 있습니다; 가장 큰 차이점은 성능과 확장성, 그리고 사용 편이성 입니다.
가장 중요한 이점은 낮은 TCO와 지속적인 용량 효율성
HNAS 중복 제거의 가장 주목할 만한 이점은 무척 합리적인 총소유비용을 제공한다는 것입니다. 성능과 확장성에 영향을 주지 않고 용량 효율성을 증대시키는 한편 별도의 스케쥴링 및 구성, 튜닝, 모니터링 등의 작업을 제거해 매뉴얼 개입을 최소화 시킴으로써 최적의 TCO를 제공할 수 있게 되었습니다.
HNAS 및 HUS 제품군의 성능에 영향을 주지 않는 메인 스토리지 중복제거는 현재 HDS에서 제공되고 있습니다. 그리고, 타 제품 대비 월등한 효과를 거둔 고객들이 그 성능을 입증하고 있습니다.
'TECH ZOOM' 카테고리의 다른 글
| Hitachi FCS ABC -- 심플한 IT 환경을 위한 ABC 전략 (0) | 2013.05.09 |
|---|---|
| Hitachi의 클라우드 솔루션 - 컨텐츠 클라우드로 구현하는 서비스로서의 스토리지 (STaaS) (0) | 2013.04.14 |
| 쉽고 빠르게 스토리지 가상화 풀 구현, Hitachi 스토리지 가상화 (0) | 2013.04.11 |
