정확하고 빠른 데이터 분석을 통해 인사이트를 도출하려는 기업이 늘고 있다. 이전에는 데이터를 저장하는 일이 주 관심사였다면, 최근에는 데이터 저장을 넘어 분석을 위한 고성능 인프라에 주목하고 있다. 완벽한 데이터 분석을 위한 인프라의 요건과 이를 충족시켜주는 최적의 솔루션을 만나본다.
데이터 분석을 위한 최우선 조건
데이터 분석을 위해서는 고성능 스토리지가 필수적이다. 분산된 데이터를 여러 애플리케이션과 연동할 때 다양한 프로토콜을 지원하고, 데이터를 신속히 가져와서 분석해야 하기 때문이다. 이 때 데이터 분석과 관리를 위한 단계별 요구사항을 충족시켜주지 못하면 데이터는 사일로화 된다. 결국, 데이터 분석을 원하는 사용자들은 분석 비용과 시간이 증가할 뿐만 아니라, 데이터 인사이트를 도출하기 어려운 한계에 직면한다.
단계별 데이터 분석 및 관리 요구사항
기업은 내부의 응용시스템이나 모든 공정에서 생성되는 데이터를 주로 NAS에 저장하고, 데이터가 필요할 때 추출해서 사용한다. 이때 저장소에 데이터가 너무 많이 적재되어 있으면 고성능 NAS를 증설해야 하는데, 이는 한계가 있고 비용 또한 높아진다. 그렇다고 저비용 저장소로 데이터를 이동하면, 별도의 써드파티 솔루션으로 관리해야 한다. 그만큼 복잡성이 증가하는 것이다.
올플래시나 NVMe 솔루션이 등장하면서 데이터 분석에 필요한 높은 인프라 성능 요구에 부합하는 듯했지만, 지금과 같은 시대라면 얘기가 달라진다. AI 분석은 이전보다 더한 고성능을 요구하기 때문이다. 최근에는 확장성이 뛰어난 오브젝트 스토리지가 대안이 되고 있으나, 성능 부분에서는 여전히 부족한 점이 있다.
요즘 기업이 원하는 고성능 스토리지 아키텍처는 대규모 확장이 가능하고, 성능과 IOPS가 높으면서도 사용이 편해야 한다.
지금 주목할 솔루션, HCSF
최근, NVMe 기반의 초고성능 병렬 파일 시스템과 대용량 오브젝트 스토리지가 하나로 통합된 솔루션이 등장했다. 바로 HCSF(Hitachi Content Software for File)이다. 각각의 독립된 기술은 예전부터 서비스되고 있었으나, 통합된 솔루션이 등장한 것은 올해 초다.
HCSF는 필요할 때만 고속으로 데이터를 가져와 분석에 활용할 수 있기 때문에 진정한 데이터 레이크 스토리지 환경을 구축할 수 있다. 고성능 파일 스토리지 영역은 NVMe 기반의 스케일아웃 방식으로 확장이 가능하다.
오브젝트 스토리지는 대규모의 Cold 데이터(사용 빈도가 낮은 데이터)를 안전하고 비용 효율적으로 저장하고 관리한다. 일반적으로 기업 내 Hot 데이터의 비율은 10~20% 정도이며, Cold 데이터는 80~90%를 차지한다. 이들 데이터는 고성능 파일 스토리지와 오브젝트 스토리지가 분산 관리한다. 스토리지에서 Hot 데이터를 처리하다 분석이 끝나고 Cold 데이터가 되면, 파일 스토리지에서 제공하는 티어링을 통해 안정적으로 오브젝트 스토리지로 이동시킨다.
HCSF도 기본적으로는 파일 스토리지로 분류할 수 있다. 다만, HCSF는 전체 시스템 구성을 통합해 전체 서비스를 할 수도 있고 고객의 요구나 업무 영역에 따라 정책, 용량, 성능 등에 맞게 분할해서 여러 개의 파일 시스템으로 서비스하는 것도 가능하다.
HCSF의 특장점
HCSF의 차별화 포인트
HCSF의 핵심은 NVMe-oF 초고성능 병렬 파일시스템과 오브젝트 스토리지의 통합이라고 할 수 있다.
첫 번째로, NVMe는 월등히 높은 고성능을 제공한다. HCSF는 파일 크기에 상관없이 동일하게 높은 성능을 제공하며, 무제한에 가까운 파일 수와 디렉터리 수를 수용할 수 있다.
이는 HCSF가 제공하는 전용 클라이언트, 고속의 데이터 처리를 위한 DPDK 기술 및 GDS 기술 덕분이다. HCSF의 전용 클라이언트는 애플리케이션 서버에서 NVMe 기반의 전용 스토리지를 로컬 디스크로 사용하는 것처럼 인식하게 해 준다. 외장 스토리지를 마운트 하는 것보다 높은 성능을 제공할 수 있는 이유다.
두 번째로, 오브젝트 스토리지는 높은 확장성뿐만 아니라 비용 효율적으로 대용량 데이터 저장이 가능하다. 일반적인 NAS에 데이터를 저장하면 용량이 커질수록 비용 부담 역시 높아진다. 그러나 대용량 데이터 저장 비용이 저렴한 오브젝트 스토리지라면 더욱 비용 효율적인 전략을 수립할 수 있다.
안정적인 티어링 성능 또한 오브젝트 스토리지의 강점이다. HCSF는 정책 기반의 티어링 파일 시스템 운영으로, 비용 대비 높은 성능과 용량 구성의 효율성을 제공한다.
최신 데이터는 Hot 티어에 저장 및 운영되고, 정책에 의해 Cold 데이터는 오브젝트 스토리지로 자동 티어링 된다. Hot 티어 사용량이 임계치에 도달하면, 최근에 사용되지 않은 데이터는 오브젝트 스토어로 이동시킨다.
파일 스토리지에서 오브젝트 스토리지로 티어링 할 때는 고속의 성능으로 파일을 안정적으로 이동시킬 수 있는지가 중요하다. 티어링이 원활하지 않으면 병목 구간이 발생하고 장애를 유발할 확률도 높다.
HCSF가 안정적인 티어링을 제공할 수 있는 첫 번째 이유는 병렬 파일시스템이기 때문이다. 파일을 티어링 할 때 여러 개의 노드로 병렬 처리가 가능하기 때문에 병목 현상이 없다. 두 번째는 변경본만 적재하는 기능 때문이다. 처음에는 모든 데이터를 다 저장하지만, 나중에는 변경본만 적재하기 때문에 초 단위의 스케줄 처리가 가능하다.
뛰어난 호환성과 안전한 데이터 보호
HCSF는 다양한 멀티프로토콜을 지원해 HPC(고성능 컴퓨팅) 환경의 애플리케이션 용도에 맞춰 저장소로 활용할 수 있다.
스냅샷은 일반적인 파일 스토리지에서 제공하는 기본적인 기능이다. HCSF는 스냅숏에서 한층 진화된 기능인 Snap to OBS를 제공한다. 일반적인 스냅숏은 논리적인 장애를 위한 복구 기능인데, Snap to OBS는 시스템 메타데이터를 포함해 시점별 스냅숏의 복제본을 오브젝트 스토리지에 보관한다. 따라서 Snap to OBS는 스토리지의 물리적인 장애에도 완벽하게 대응할 수 있다.
다양한 산업계에서 활용하는 고성능 인프라
HCSF는 범용적인 고성능 분석 요건에 적합한 통합 솔루션이다. 즉 성능과 확장성, 스케일아웃 관점에서 제한 없이 데이터를 간편하게 공유하고 지원한다. 효성인포메이션 시스템의 HCSF는 하나의 오퍼링으로 파일 크기에 상관없이 완벽한 고성능을 지원하고 지속해서 유지할 수 있는 유일한 솔루션이다.
현재 HCSF는 헬스케어나 자율주행 시뮬레이션, 공공 및 금융 분야 등 다양한 산업에서 고성능 인프라로 자리매김하고 있다. 대용량 데이터 처리, AI/ML, 데이터 분석을 위한 차세대 스토리지 아키텍처가 필요하다면, 고성능 기술에 대해 설계부터 구축, 운영, 지원까지 완벽하게 통합 지원하는 효성인포메이션 시스템의 HCSF를 주목하자.
HCSF 활용 분야
금융 산업, HCSF를 주목하라!
속도, 민첩성, 스토리지. 최근 금융서비스에서 필요성이 급증하고 있는 세 가지 주요 요소다. 기술 컴퓨팅, 분석, 딥러닝 관련 애플리케이션의 새로운 등장으로 금융서비스에서도 스토리지 I/O, 쓰루풋, 지연 시간 및 확장성이 어느 때보다 중요해졌다.
HCSF는 고성능과 높은 확장성을 기반으로 신속한 분석을 제공한다. 이는 금융서비스 기업들이 서비스 차별화로 경쟁 우위를 확보할 수 있도록 해주는 핵심 요인 중 하나다.
최고 성능을 보장하는 HCSF를 통해 알고리즘 트레이딩, 포트폴리오 분석, 리스크 관리가 가능하다. 이는 금융서비스 분야에서 맞춤형 투자 가이드, 신용과 리스크 평가 개선, 더 빠른 보험 통계 분석, 정확한 회계부정 탐지를 가능하게 한다.
싱글 클라이언트에 대한 성능 비교
레이턴시 성능 비교
플래시 기술이 적용된 HCSF 관리 인터페이스로 페타바이트(PB)급 스토리지를 간편하게 관리할 수 있다. STAC-M3 성능 벤치마크에서 로컬 디스크 스토리지(DAS), NVMe 오버 패브릭 SAN, 올플래시 NAS를 모두 제쳤다.
월등한 성능의 HCSF 활용 사례
01 / 트레이딩 솔루션 제공 기업 A사
A사는 거래량이 많은 주요 거래 업체의 자동화된 전용 트레이딩 솔루션이 공유 병렬 파일 시스템에서 75%의 성능 저하가 발생했다.
A사는 HCSF 도입 후 로컬 NVMe를 능가하는 성능을 도출했으며, NVMe 드라이브가 소모되지 않아 스토리지 비용의 65%를 절감할 수 있었다. 특히 애플리케이션 서버로 데이터 복제가 불필요해졌다.
02 / 주식거래 플랫폼을 제공하는 뉴욕 증권거래소의 주요 기관 B사
상상을 초월하는 높은 인프라 비용, 확장성에 대한 지나친 제약, 과도한 비용 부담으로 B사는 강력한 DR 전략이 부족했다.
B사는 HCSF를 활용함으로써 성능이 7배 향상돼, 컴퓨팅 리소스 비용을 1/7 절감했다. 컴퓨팅 및 공유 스토리지의 비용을 크게 절감했으며, 첨단 솔루션으로 대규모 재해 발생 시에도 간단히 복구가 가능해졌다.
03 / 자본시장 투자 전문 C사
C사는 거래 모델에 데이터를 제공할 때 600TB를 초과하는 데이터 셋, 올플래시 NAS 성능 저하 등 문제가 발생했다.
HCSF를 활용해 C사는 NAS에 비해 성능이 10배 향상됐다. 특히 오브젝트 스토리지를 통한 비용 모델링을 개선했으며, 프라이빗 클라우드 백업도 가능해졌다.
04 / 주요 금융기관 D사
D사는 KDB+(시계열 DB 관련 상용 솔루션) 모델링을 실행하면서 터무니없이 높은 가격, 단일 사용자 설계, 파일 복사 요구로 공유에 지장이 발생하는 등 문제점이 드러났다.
이에 HCSF를 도입한 D사는 필요에 따라 다중 서버 확장이 가능해진 데 이어 장비의 비용이 절감됐고, 서비스 제공 범위가 확대되는 이점을 누리게 됐다.
'TECH ZOOM' 카테고리의 다른 글
| 성공적인 클라우드 전환을 위한 꿀팁! (0) | 2021.12.16 |
|---|---|
| 효성인포메이션시스템의 남다른 HCI 전략! (0) | 2021.10.19 |
| 옵스 센터(Ops Center), 스마트한 데이터센터 운영 위한 맞춤 가이드 (0) | 2021.09.16 |
