오브젝트 스토리지, 비정형 데이터로 통찰력을 확보하다!

기업 데이터의 80%는 비정형 데이터로, 이 수치는 매년 50% 이상씩 증가하고 있다. CIO들의 최대 고민거리가 비정형 데이터일 수밖에 없는 이유다.

그런데 비정형 데이터는 언제라도 기업의 최고 자산으로 탈바꿈할 수 있는, 준비된 보물창고다. 수많은 직원의 시간과 노력이 축적된 소중한 결과물이기 때문이다.

데이터 사일로 간 장벽을 없애 비정형 데이터를 더 스마트하게 만들고, 데이터의 가치와 접근성을 한층 더 향상할 수 있는 방법이 있다. 바로 오브젝트 스토리지다.

시대를 앞선 솔루션

비정형 데이터는 명확하게 정의되거나 정형화된 데이터 모델 혹은 이에 해당하지 않는 모든 종류의 데이터를 말한다. 이런 특성 탓에 비정형 데이터는 검색과 분석이 쉽지 않다. 이메일, 텍스트 파일, 사진, 비디오, 오디오 파일, 웹페이지, 프리젠테이션, 멀티미디어, 콜센터 기록/녹음 등이 모두 비정형 데이터의 사례들이다. 데이터베이스는 정형 데이터의 대표적인 사례로 꼽을 수 있다.

데이터는 충분히 정형화될 수 있고, 프로그래밍을 거치면 검색과 쿼리가 간편해진다. 오브젝트 스토리지는 메타데이터를 이용해 비정형 데이터를 프로그래밍 가능한 데이터로 전환한다. 이때 메타데이터는 하나의 오브젝트로 기능할 수 있도록 원본 파일에 추가돼 함께 저장된다. 메타데이터가 추가되면 데이터 검색, 분류, 관리가 가능해지고, 프로그래밍을 통해 데이터 처리도 할 수 있다. 비정형 데이터도 자체 식별이 가능하도록 전체 텍스트 색인을 부여해 더 풍부하게 만들 수 있다. 자체 식별 데이터는 데이터가 생성된 애플리케이션의 외부에서도 해당 데이터의 가치를 계속 유지하는 데이터를 의미한다.

오브젝트 스토리지는 메타데이터를 기반으로 데이터 관리가 가능한 아카이빙, 컴플라이언스 및 관리 활용 사례를 차곡차곡 축적하며 기반을 다져온 솔루션이다. 오브젝트 스토리지는 지금까지 대부분의 아카이빙 활용 사례에서 고성능을 요구하지 않는 티어2 역할을 담당했다. 10여 년 전까지만 해도 이 정도면 최고의 오브젝트 스토리지라는 찬사를 받았다.

강력한 메타데이터, 데이터에 인텔리전스 부여

오브젝트 스토리지의 데이터 관리 및 메타데이터 기능은 너무나 강력해 시대를 훌쩍 뛰어넘는 것이었다. 간단한 메타데이터는 복수의 주석이나 메타데이터 조각들을 하나의 파일로 연계하는 기능을 거쳐 강력한 메타데이터로 전환된다.

데이터 주도적인 환경을 추구하는 기업이 늘면서 중앙집중식 데이터 관리의 필요성도 증가하고 있다. 핵심 데이터센터 혹은 복수의 센터, 엣지 지점, 고객, 퍼블릭 클라우드 또는 다중 퍼블릭 클라우드 내에 저장된 데이터가 모두 그 대상이다.

지능형 데이터 운영과 분석 가속화의 성패 여부는 지능형 데이터의 확보에 달려 있다. 검색과 분석뿐 아니라 끊임없이 변화하는 규제 준수에도 원활하게 대응할 수 있도록 데이터 준비, 클린징, 조작, 변환 기능 등의 작업을 데이터 운영과 통합된 워크플로우에서 처리할 수 있어야 한다. 이는 강력한 메타데이터를 기반으로 이뤄지며, 엄청난 규모의 확장성과 고성능이 필요하다.

'더 이상 애플리케이션 사일로는 없다'

오브젝트 스토리지는 원하는 정보를 추적하는 데도 탁월하다. 사용자 지정 메타데이터를 이용할 수 있고, 프로그래밍을 통해 중요한 정보를 파일에 추가할 수도 있다. 데이터베이스의 데이터를 검색하는 것처럼 작성자별, 날짜별, 기간별 등 원하는 조건에 따라 검색이 가능하다. 애플리케이션 버전, 고객, 송장, 문서 ID, 생성 국가, 원래 표준 시간대 또는 거버넌스 정책, 적용 날짜 혹은 원본 애플리케이션 등과 같은 구체적인 정보들 역시 가능하다. 이러한 모든 정보가 사용자 지정 메타데이터 필드가 될 수 있고, 그 이상도 포함될 수 있다.

더 이상 사용하지 않고, 데이터 액세스도 거의 발생하지 않는 원본 애플리케이션에 연계된 데이터 관리에도 오브젝트 스토리지가 아주 유용하다. 예를 들어, 애플리케이션 데이터를 읽을 수 있도록 스크립트를 작성한 후 이를 오브젝트 버킷에 작성한다고 가정해보자. 이때 해당 애플리케이션에서 사용하던 기존의 콘텍스트를 추가한 사용자 지정 메타데이터를 포함할 것을 제안한다. 이렇게 해두면 기존 애플리케이션 데이터에서도 전체 쿼리 기능을 이용할 수 있고, 프로그래밍을 통한 액세스도 가능하다. 찾기 쉽게 만들어두면 차세대 데이터 애플리케이션과의 통합도 훨씬 더 수월하게 진행할 수 있다. 단순한 데이터 저장만을 위한 애플리케이션 사일로는 더 이상 존재하지 않게 된다.

데이터의 잠재적인 통찰력 확보

이제 데이터 생성을 위해 사용한 애플리케이션과는 독립적으로 존재하는 나만의 데이터 저장 공간이 생겼다. 이러한 데이터가 충분히 가치를 발휘할 수 있도록 필요한 사용자 지정 데이터를 추가해 데이터를 더 풍부하게 만드는 것도 가능해졌다. 사용자의 데이터 수요와 이용 트렌드 변화에 따라 언제든 더 많은 메타데이터를 추가할 수 있다.

Splunk 같은 최신 애플리케이션은 어떨까? Splunk는 로그 데이터 통합, 대시보드 생성, 추천 등을 제공하는 탁월한 툴로, 데이터 주도적인 조직으로의 전환을 가속한다. 하지만 Splunk에 데이터가 축적될수록 시스템은 더 복잡해지고 비용도 상승한다. 오브젝트 스토리지라면 이 문제도 해결할 수 있다. Splunk 데이터가 최고의 가치를 제공하는 기간은 첫 7일간이다. 이후 30일 동안 사용 빈도는 점차 줄어든다. 그리고 3년쯤 지나면 데이터를 거의 사용하지 않게 된다. 그런데도 Splunk 데이터는 트렌드와 기록 분석을 위해 여전히 중요한 데이터로 남는다.

예를 들어 분기마다 발생하는 문제를 하나 발견했다고 생각해보자. 문제를 해결하려면 과거 데이터를 찾아 관련 데이터를 반복적으로 검토해야 한다. 하지만 HCP(Hitachi Content Platform)를 활용하면 현재 사용하지 않는 Splunk 데이터까지도 검색할 수 있다. 즉, 언제라도 데이터에서 잠재적인 통찰력을 확보할 수 있게 된다.

오브젝트 스토리지의 또 다른 기능으로는 테이프 백업을 오브젝트 스토리지 백업으로 옮겨올 수 있다는 것이다. 백업 애플리케이션에서 지원하는 경우라면 '원본 파일 포맷'으로 백업하는 것도 가능하다. 이렇게 하면 위에서 설명한 오브젝트 스토리지의 모든 기능을 이용하는 셈이 된다. 한발 더 나아가, 프로그래밍을 거쳐 오브젝트 스토리지 데이터를 데이터 레이크 혹은 분석 애플리케이션에서 불러오는 것도 가능하다. 이 경우, 업무용 애플리케이션에서 데이터를 불러올 때 발생하는 부하 문제를 피할 수 있다. 원하는 데이터에서 충분한 가치를 확보하기 위해 굳이 애플리케이션 현대화를 할 필요가 없다는 의미다.

HCP, 티어1 워크로드 고속으로 지원하는 최고의 솔루션

오브젝트 스토리지는 데이터 스토리지의 미래를 보장하고, 데이터 수익화를 지원하는 최고의 솔루션이다. 그 중 효성인포메이션시스템의 HCP(Hitachi Content Platform)는 IDC 마켓스케이프의 '전 세계 오브젝트 기반 스토리지 벤더 평가'에서 4년 연속 리더 자리를 지켜온 최고의 솔루션이다. 지난 수십 년간 데이터 스토리지 시장에서 탄탄한 입지를 구축했으며, 업계 최고의 신뢰성을 자랑한다. 또 경제성과 대규모 확장성을 기반으로 기존의 애플리케이션을 지원한다. HCP는 이제 티어1 워크로드를 고속으로 지원하는 최적의 스토리지 솔루션으로 완벽하게 자리매김하고 있다.

최신 오브젝트 스토리지라면 사용자가 원하는 메타데이터를 추가(필요에 따른 확장성 포함)할 수 있고, 데이터의 프로그래밍 처리도 가능해야 한다. HCP는 아마존 S3 스토리지와 완벽하게 호환된다. 따라서 클라우드에서 작업하는 것과 똑같은 방식으로 HCP에 애플리케이션을 작성할 수 있으며, 시스템 성능에도 영향을 주지 않는다.

고성능이 보장되면 미래의 워크로드를 엄청나게 빠른 속도로, 향후 필요한 확장성까지 고려해 즉각적으로 활용할 수 있다. 미래 워크로드에는 실시간 로그 집계부터 IoT 워크로드, 고성능 데이터베이스의 트랜잭션 로그 등 거의 모든 데이터 작업이 포함된다. 이들 각각의 데이터에 사용자 지정 메타데이터를 적용해 조직 내 활용 가치를 한층 더 높일 수 있다. 예전 같으면 수년 동안 모니터링 환경에 원본 포맷으로 저장돼 있었을 로그 데이터를 모두 취합해 애플리케이션의 부하를 줄이고, 라이선싱 비용을 대폭 절감할 수 있다. 트랜잭션 기록이 한층 풍부해지고, 데이터도 정상화돼 온프레미스(On-premise)든 퍼블릭 클라우드든 위치에 상관없이 분석 수요가 있으면 언제라도 사용할 수 있다.

“오브젝트 스토리지는 데이터 스토리지의 미래를 보장하고, 데이터 수익화를 지원하는 최고의 솔루션이다. 그 중 효성인포메이션시스템의 HCP(Hitachi Content Platform)는 IDC 마켓스케이프의 ‘전 세계 오브젝트 기반 스토리지 벤더 평가’에서 4년 연속 리더 자리를 지켜왔다.”

Source by

Unstructured Data Is a Treasure Trove of Value: Unlock It With an Object Store

www.hitachivantara.com, 2020년 7월