[NASA] HCP 활용해 지구의 환경 데이터 보호 시스템 구축

중요한 정보를 보다 안전하게 보호하고 온디맨드 데이터 검색을 보장하기 위해 Hitachi Content Platform로 액티브 아카이빙 환경을 구축한 NASA.

NASA는 관찰 위성에 정교한 계측 기구를 탑재해 지구 환경 변화에 관련된 데이터를 수집한다. 이 데이터는 사용 가능한 정보로 활용되기 위한 처리, 분석, 편집의 과정을 거쳐 전 세계의 다양한 분야의 과학자들에게 전달되며, 특히 미국 환경보건국 및 유럽중기예보센터 등 여러 기관에서 NASA의 데이터를 활용하고 있다. 미래의 과학자들을 위해 지구의 환경 데이터 기준선을 마련하는 것은 매우 중요한 문제이므로 수백 년 후에도 이러한 디지털 데이터에 접근 가능하도록 아카이빙 하는 작업은 높은 중요성을 지닌다.

NASA는 이를 위해 전체 인프라에 Hitachi Content Archive 소프트웨어를 통합 적용함으로써 현재 시점 기준 70TB의 데이터뿐만 아니라 지속적으로 증가하는 이기종의 서버 클러스터 내 데이터를 빠르게 검색할 수 있도록 하는 환경을 구축했다.

안전한 보관과 온디멘드 검색

NASA는 OMI 관측 툴이 탑재된 Aura 위성을 통해 오존 지수를 모니터링한다. 이 위성은 2004년 대기 상의 가스 및 지구의 오존층 상태를 측정하기 위해 지난 2004년 Delta II 로켓을 통해 발사된 것으로, 당초 프로젝트의 목적은 온디맨드로 데이터를 무제한 검색하는 것이었다. 기존의 위성 프로그램은 로봇으로 제어되는 테이프 스토리지에 크리티컬 데이터를 저장하는 방식으로 이루어졌다. 그러나 테이프 시스템은 액티브 아카이빙 관리 등의 고급 기능을 제공하지 않으며 향후 하드웨어 업그레이드 시 데이터 접근을 보장하지 않는 문제가 있었다.

NASA의 OMI 컴퓨터 과학자 Curt Tilmes는 “위성에서 추출한 데이터는 국가 자산으로 분류되므로 안전한 보관이 무엇보다 중요하다. 수백 년 후에 누군가 로우 데이터 혹은 프로세스 파일 확인을 원할 수 있기 때문이다. 더불어 최대한 쉬운 방법으로 이러한 접근이 가능하도록 하기 위해, 벤더에 종속되지 않고 끝까지 목표를 수행할 수 있는 아카이빙 플랫폼을 확보하는 것이 프로젝트의 목표였다.”라고 말한다.

디스크 기반 아카이빙 솔루션

NASA 위성 데이터는 2개의 계층으로 구성된 스토리지 환경에 저장되었으며, 빈번하게 접근 요청이 이루어지는 파일은 디스크 기반 캐시에, 그밖에 데이터는 주크박스 테이프 시스템으로 할당되었다. 과학자들이 테이프에 저장된 정보를 확인하고자 할 때, 로봇 매커니즘이 해당 테이프를 검색 후 리더(reader)에 정확한 테이프를 삽입하여 복사 후 파일이 과학자에게 전송되는 방식으로 이루어진다. 이 과정은 대기 목록의 프로젝트 규모에 따라 요청 건이 완료되기 까지는 수 시간이 걸리기도 한다. 또한 클러스터링으로 구성된 수백 대의 Dell 서버 및 다양한 소프트웨어 관리 인터페이스와 더불어 기존의 스토리지 환경 역시 작업에 많은 시간이 소요되도록 복잡하게 구성되어 있었다. Tilmes는 “정보에 접근하는 과정이 복잡하거나 오랜 시간이 소요되는 경우 연구에 영향을 미치게 된다. 우리의 목표는 디스크에 모든 정보가 보관되는 동시에 정보 접근이 용이하면서도, 쿼리 검색의 속도를 높이고 자동화시킬 수 있는 아카이빙 기술을 확보하는 것이었다.”라고 설명한다.

이에 다양한 아카이빙 솔루션이 검토되는 가운데 OMI는 기존에 NASA에서 사용되며 이미 성능 및 안정성이 검증된 Hitachi Content Archiver 소프트웨어를 프로젝트에 도입하기로 결정했다. 파일럿 연구를 진행한 NASA의 컴퓨터 과학자 Ben Kobler는 “몇 해전 NASA에서 Small Business Innovation Research 프로그램을 진행하며 Hitachi의 아카이빙 솔루션을 사용해 성공적으로 프로젝트를 수행한 바 있다. 같은 솔루션을 OMI에 적용함으로써 기존의 클러스터를 하나의 소프트웨어 인터페이스에 통합하여 단일 관리 툴 기반의 확장형 아카이빙을 수행할 수 있게 됐다.”라며 도입 배경을 밝혔다.

안정성을 제공하는 Hitachi Content Platform

Hitachi Content Archiver는 향후 업그레이드되는 하드웨어, 소프트웨어, 데이터 및 암호화 포맷에 대한 상호운용성을 제공하기 위해 표준 프로토콜 및 메타데이터 인덱스를 사용한다.

Kobler는 이에 대해 “하드웨어 및 기술의 변화는 불가피하지만, Hitachi의 플랫폼을 통해 추가적인 백업이나 로드 밸런싱 작업 없이 모든 종류의 데이터를 문제없이 관리할 수 있었다.”라고 설명했다.

또한 HCP를 통해 정형, 반정형, 비정형 데이터를 관리함으로써 컨텐츠의 유형에 따라 아카이빙을 분리할 필요가 없다. 정교한 메타데이터 관리 소프트웨어로써 자동화된 모니터링과 사용이 간편한 브라우저 인터페이스를 제공하기 때문에, 저장된 데이터에 빠르게 접근할 수 있도록 한다.

이와 관련해 Tilmes는 “Hitachi의 아카이빙 솔루션을 통해 하드웨어 클러스터를 단일 아카이브로 활용하고 있다. 중앙에서 하나의 아카이빙 솔루션을 사용하여 모든 뷰를 통합하고 모든 애플리케이션을 관리함으로써, 콘텐츠 접근 및 모니터링에 걸리는 시간을 획기적으로 단축시킬 수 있었다.”라고 평가했다.

Kobler는 “Hitachi 아카이빙 솔루션은 무한에 가까운 확장성을 제공한다. 거의 영구적으로 보관해야 하는 데이터에 대해 향후 추가적인 아카이빙이 요구되지 않는다는 것은 전 세계 과학자들에게 큰 이점을 제공한다.”라고 말했다.

아카이빙 플랫폼에 저장된 데이터는 미국의 국립 극-궤도 작동 환경 인공위성 시스템 (NPOESS)의 전 세계 환경 변화를 모니터링하는 Preparatory Project의 테스트 데이터로도 활용될 예정이다.

* 관련링크 : http://www.hds.com/assets/pdf/hitachi-storage-solutions-at-work-nasa.pdf