중국 국영 통신사인 신화통신은 세계 170여 개국에 해외지사를, 중국 내에 31개 사무소를 운영하고 있을 정도로 중국에서 가장 영향력 있는 통신사로 꼽힌다. 신화통신은 중국 내 대부분의 언론매체에 뉴스를 공급하고 있으며, 20종 이상의 신문과 12종의 잡지를 발행하는 출판사도 운영 중이다.
한계에 다다른 기존 시스템
신화통신의 시청각 라이브러리 시스템은 라이브러리 내 시청각 파일을 디스크 어레이와 테이프 라이브러리에 저장, 24/7 서비스를 제공할 목적으로 2003년에 구축됐다. 현재 이 시스템에는 신화통신 본사가 보유한 6만 시간(약 9만 건의 엔트리), 지사가 보유한 1만 시간 등 총 7만 시간의 시청각 데이터가 저장돼 있다.
신화통신은 비디오와 뉴미디어 비즈니스의 발전으로 관련 데이터의 양이 급증하고, 기존 시스템의 핵심 디바이스가 노후하면서 시스템 용량 부족으로 서비스에 한계가 왔다. 대량의 시청각 데이터를 기존 시스템의 데이터베이스에 저장해 관리하는 것은 거의 불가능했으며, 이를 해결하기 위해 시스템의 전면적인 업데이트와 개선이 절실했다.
기존 시스템 처리량의 한계로 신화통신의 시청각 라이브러리는 한정적인 서비스만 제공하고 있었으며, 외부로 나가는 데이터의 양도 제한하고 있었다.
두 번째 문제는 본사, 아태지역, 남미, 유럽지사의 접속자수가 지속적으로 증가한다는 점이었다. 시청각 라이브러리 시스템의 운영 압박과 아키텍처 설계로 인한 제약이 본사 이외 사용자의 데이터베이스 접속을 제한해 비즈니스 관련 요구사항을 충족시키지 못하고 있었다.
마지막으로 비디오 파일의 자체 기술과 자체 관리를 위해 향상된 오브젝트 스토리지 기술과 커스터마이징된 메타데이터 기능을 도입할 필요가 있었다. 이 기능이 구현되면 비디오 파일을 데이터베이스에서 분리해 독립적이면서 질의 및 액세스가 가능한 미디어 자산 데이터로 전환할 수 있다. 또 데이터베이스 시스템 오류로 인해 발생할 수 있는 테이프 데이터 읽기 오류 가능성도 없앨 수 있다.
클라우드 플랫폼으로 문제 해결
신화통신은 전 세계로 공급되는 멀티미디어 데이터베이스용 시청각 서브 라이브러리를 도입하기로 결정했다. 서브 라이브러리를 구축하면 본사와 해외 및 중국 내 지사의 단일 관리가 가능하고, 리소스가 강화될 뿐 아니라 각각의 노드에 소요되는 관리 비용도 줄일 수 있다. 이와 더불어 TV와 뉴미디어 사업 강화를 위한 탄탄한 기반도 갖출 수 있다.
이 프로젝트를 통해 신화통신은 하루 평균 120시간의 비디오 데이터 처리와 송수신, 향후 3~5년간 TV 사업부문의 비디오 데이터 요구사항을 충족시키고자 했다. 또한 지사의 시청각 데이터 아카이브 요구사항에 대한 지원을 강화하고, 전 세계 지사의 비디오 데이터에 대한 단일화된 관리와 공유가 가능할 것으로 기대했다.
Hitachi Data Systems(HDS)는 신화통신이 필요로 하는 온라인과 아카이브 스토리지 시스템을 구축하기 위해 HCP 500XL 오브젝트 스토리지 기술에 기반한 클라우드 미디어 리소스 관리 솔루션을 제안했다. 이 온라인 스토리지는 핫스팟 비디오, 중요한 프레임 이미지, 신속한 액세스가 요구되는 저비트율 비디오를 저장하는 데 사용된다. 또 장기간 아카이브가 필요한 비디오 파일 저장에 사용되는 테이프 라이브러리를 대체할 수도 있다. 이 온라인 스토리지 시스템에는 고성능 HNAS 4100이 포함돼 있으며, 저장된 비디오를 실시간으로 검색해 편집하고자 하는 수백만의 신화통신 인트라넷 사용자들도 이용할 수 있다.
신화통신의 인트라넷 및 엑스트라넷 사용자가 직접 액세스할 수 있는 프라이빗 클라우드에 구축돼 테이프 송출 대기 시간이 없어졌으며, 수많은 지사에서 유입되는 중앙집중화된 데이터 취합 문제도 해결됐다.
HDS는 2개의 하이엔드 HNAS 4100 게이트웨이를 이용해 고가용 클러스터를 구현했다. 2개의 게이트웨이를 하나의 HUS 150 시스템과 결합해 최대 4GB/초 대역폭을 보장하는 높은 수준의 신뢰성 있는 NAS 스토리지 시스템을 구축한 것이다. 또 HUS 150의 충분한 파이버 채널 인터페이스가 데이터베이스 서버용 SAN 스토리지 서비스를 제공한다.
HDI로 효율성 향상
뿐만 아니라 6개의 HCP 500XL 게이트웨이와 하나의 HUS 150이 스케일아웃(Scale-out) 클라우드 스토리지 플랫폼을 생성한다. HCP는 기간이 오래된 데이터 저장에 디스크를 활용하며, S3, HTTP, CIFS 또는 NFS 파일 공유 프로토콜을 통해 온라인으로 데이터에 액세스할 수 있다. HCP 500XL은 미디어 리소스 관리 시스템의 고대역 요구사항을 만족시키기 위해 게이트웨이 노드당 이미 검증된 성능인 250MB/초를 제공한다. 이렇게 하면 ‘온라인’ 스토리지 방식으로 서비스를 제공하면서 아카이브 데이터에서의 읽기/쓰기 대역폭 요구사항까지 충족시킬 수 있다. HCP 오브젝트 기반 시스템에 구현된 이 클라우드 스토리지 플랫폼은 인트라넷 및 엑스트라넷 데이터 공유에 대한 요청뿐 아니라 데이터 아카이브 수요를 충족하고자 설계된 것이다.
신화통신 지사 소속 저널리스트들은 이 프로젝트가 완료되기 전에는 FTP를 통해 본사에 비디오를 업로드 했기 때문에 효율성이 저하됐다. HDS는 신화통신 지사에 HDI(Hitachi Data Ingestor) 가상 머신(VM) 소프트웨어를 설치하는 것으로 이 문제를 해결했다. 지사에 설치된 HDI 소프트웨어는 본사에 구축된 HCP 클라우드 스토리지 플랫폼과 연계돼 있어 지사에서 전송된 데이터를 자동으로 수집, 보호할 수 있다.
매력적인 도입 효과
상시 엑세스 가능한 디지털 미디어 리소스 환경 구축
완벽한 디지털화란 미디어 리소스 데이터 원본이 저장된 스토리지 미디어가 테이프에서 디스크로, 오프라인에서 온라인으로 전환되는 것을 의미한다. 또한 대기 및 관리 필요성이 없어 데이터의 신뢰성이 향상되며, 언제라도 접속 가능한 상태를 유지한다.
다운타임 감소
HCP는 상당히 높은 수준의 시스템 신뢰성을 보장한다. RAID 기본 데이터 보호를 통해 디스크 오류로 인한 데이터 손실을 방지할 수 있으며, HCP의 복제 메커니즘으로 비즈니스 다운타임 가능성이 줄어든다.
데이터 보안
HCP는 포괄적인 데이터 보호 메커니즘을 제공한다. 3단계의 사용자 비밀번호뿐 아니라 WORM(Write Once, Read Many) 기능을 통해 해당 데이터에 대한 잠금 설정도 가능하다. 이 경우 예정된 시간 이전에는 어느 누구도 파일을 삭제하거나 수정할 수 없으므로 파일의 진위여부와 정확성이 보장된다.
데이터 보호
HCP는 데이터 신뢰성을 강화하기 위해 파일 상태 체크와 셀프 힐링(Self-Healing) 기능을 제공한다. 멀티복사 기능을 이용해 자동으로 파일을 다중 복제하며, 해당 파일에 대한 해시 값 확인을 정기적으로 실행한다. 해당 파일이 해시 값과 일치하지 않으면 그 파일은 손상된 것으로 간주된다. 이 경우, HCP는 해당 파일의 복사본이 늘 최상의 상태로 유지될 수 있도록 손상된 파일을 다른 무결점 복사본으로 자동 대체한다.
향상된 메타데이터 관리
고성능 오브젝트 스토리지 기술을 갖고 있는 HCP 클라우드 스토리지 시스템은 커스터마이징된 메타데이터 관리를 제공한다. HCP는 데이터베이스 혹은 애플리케이션 시스템의 종류에 상관없이 파일 오브젝트 콘텐츠를 자동으로 형성할 수 있다. 따라서 HDS는 IBM® 콘텐츠 매니저 시스템을 대체하면서 HCP의 API를 통해 HCP에 작성된 파일 오브젝트에 대한 메타데이터 복사본을 추가적으로 확보할 것을 제안했다. 이렇게 하면 메타데이터에 대한 2단계 보호 시스템을 갖출 수 있다.
엑스트라넷을 통해 비디오 파일 액세스 가능
S3와 HCP 클라우드 스토리지 시스템의 HTTP 프로토콜은 라우팅을 지원한다. 이를 통해 인트라넷 및 엑스트라넷 사용자가 본사에 설치된 HCP에 실시간으로 접속할 수 있다. HCP의 HTTP 프로토콜은 방화벽, 에어갭(Air gap: 인터넷 접속이 불가한 환경)등 독립 디바이스 내에서 동작할 수 있어 엑스트라넷에서도 비디오 파일에 액세스할 수 있다.
지사 데이터 자동 수집
지사에 근무하는 저널리스트들도 LAN을 통해 HDI에 비디오 파일을 신속하게 업로드 할 수 있어 사무실에서 오랜 시간 기다릴 필요가 없다. 저널리스트들이 업로드한 비디오 파일 복사본은 HDI가 본사의 HCP 클라우드 스토리지 플랫폼에 자동으로 복사한다. 그리고 승인이 완료되면 전 지역의 지사에서 해당 HDI VM을 공유할 수 있다.
유연한 스케일
자동화된 아카이빙이란 HDI VM이 정책에 기반해 오래된 지역 데이터를 자동 삭제할 수 있다는 것을 의미한다. 이렇게 하면 스토리지 공간이 확대돼 무제한의 스토리지 리소스 풀을 생성할 수 있다. 삭제된 데이터는 HCP에 복사된 데이터 복제본을 지칭하는 스텁(Stub)’으로 대체되므로 해당 파일이 아카이브 됐다는 사실을 사용자가 굳이 공지할 필요는 없다.
지아오루(Jiao Lu) 신화통신 기술 부서 시청각 데이터 부문 클라우드 미디어 자산 프로젝트 팀장은 “HNAS와 HCP 클라우드 스토리지 솔루션으로 신화통신은 중국에서 미디어 자산 스토리지 스트리밍을 위해 디스크를 도입한 첫 통신사가 됐다. HCP의 오브젝트 스토리지 기술과 커스텀 메타데이터 기능은 미디어 파일 스트리밍 서비스에 대한 대용량의 컨텐츠에 대한 빠르고 정확한 엑세스를 가능하게 해준다. 또 HCP가 제공하는 표준 HTTP 기반 액세스 프로토콜로 테이프 송출에 소요되는 대기 시간이 없어졌으며, 외부 네트워크 사용자에게도 서비스를 제공할 수 있게 됐다. 이를 통해 파일 스트리밍의 읽기/쓰기 응답 속도가 대폭 향상될 것으로 기대한다. HNAS와 HCP 클라우드 스토리지는 이제 신화통신 TV서비스의 핵심 데이터 플랫폼으로 자리잡았다."고 말했다.
