대용량 데이터 처리를 위한 SAP HANA 다이내믹 티어링

SAP HANA는 인메모리 데이터베이스로 기존에는 모든 데이터가 메모리에 저장되었습니다. 하지만 모든 데이터가 동일한 가치를 가지지는 않기 때문에 최적의 성능을 유지하면서 효율적인 비용으로 데이터를 관리할 필요가 있습니다. 또한 빅데이터와 같이 매우 큰 데이터 사이즈를 가진 DB를 관리해야 할 필요성이 있습니다. 이를 위하여 SAP HANA SPS 9에서는 다이내믹 티어링(Dynamic Tiering) 기능이 추가되었습니다.

다이내믹 티어링(Dynamic Tiering)은 데이터베이스 관리 기능으로 DAILY REPORT와 같은 빠른 Performance를 필요로 하는 중요성이 높은 데이터는 Hot 데이터, 중요성이 조금은 떨어지는 Hot 데이터 이외의 데이터는 Warm 데이터로 구분을 하여, Hot 데이터는 메모리에 저장하고 Warm 데이터는 스토리지에 저장이 됩니다.

---

다이내믹 티어링(Dynamic Tiering) 원리

---

<그림1>과 같이 Hot 데이터와 Warm 데이터 모두 하나의 데이터베이스 내에 존재합니다. ‘Hot’ 데이터는 테이블 정의와 데이터 모두 메인 메모리에 존재하면서 최대의 성능을 가지고 DB 알고리즘이 인메모리 데이터에 최적화 되어 있습니다. ‘Warm’ 데이터는 테이블 정의만 메인 메모리에 가지고 있고 데이터는 Disk에 저장이 됩니다.

데이터를 핸들링할 때는 메인 메모리에 있는 테이블 정의를 통해 캐싱 및 프로세싱을 하며, 이러한 데이터 처리 알고리즘은 디스크 기반 데이터에 최적화 되어 있습니다.

<그림1> SAP HANA DB의 Hot store, Warm store

이러한 기능을 통하여 SAP HANA는 기존에는 불가능하였던 훨씬 더 큰 데이터 세트, 최대 페타바이트 수준까지 처리 가능하고 모든 데이터를 SAP HANA 테이블을 통해 유연하게 데이터를 핸들링하고 검색할 수 있습니다.

예를 들어 SAP BW에서 중요 리포트인 일자 별 영업데이터를 SAP HANA Dynamic Tiering 기능으로 구현할 경우 다수의 USER가 사용하여 실행횟수가 많고 즉각적인 분석이 필요한 데이터의 경우에는 SAP HANA의 Hot 데이터로 관리하고 실행횟수가 적고 어느 정도 실행시간이 늦어도 크게 지장이 없는 과거 데이터는 Warm 데이터로 관리하여 수행 성능과 저장 공간을 모두 만족시킬 수 있습니다.

<그림2>와 같이 SAP HANA의 다이내믹 티어링 기능은 테이블 별로 Hot 데이터인지 Warm 데이터인지 정의할 수 있습니다.

<그림2> SAP HANA 다이내믹 티어링

---

다이내믹 티어링(Dynamic Tiering) 사용 방법

---

Warm 데이터에 대한 테이블 정의 방법은 Extended Storage를 생성하고 EXTENDED STORAGE를 사용하도록 테이블 생성 또는 수정 시 정의하면 됩니다.

<SQL Reference>

Extended Storage 생성

Syntax)
CREATE EXTENDED STORAGE AT [ [LOCATION] ‘<host-string>’ ] SIZE <size-value> {KB|MB|GB|TB} [{ENABLE|DISABLE} DELTA]

Example)
CREATE EXTENDED STORAGE AT 'TEST.ES' size 50 GB ENABLE DELTA

Extended Table 생성

Syntax)
CREATE [ COLUMN ] TABLE <table_name> (<table_content_source>, ...) <use_extended_storage_clause>

Example)
CREATE TABLE TBL1(A INT, B INT NULL, C INT NOT NULL) USING EXTENDED STORAGE;

---

HANA DB 확장을 위해 다이내믹 티어링의 이용을 고려 중이라면 Hitachi UCP를

---

이전에는 SAP HANA 어플라이언스에서 데이터는 메모리에 저장이 되고 스토리지는 백업이 된다는 개념이어서 스토리지의 중요성은 크게 부각이 되지 않았습니다. 하지만 다이내믹 티어링 기능을 사용하게 되면 Warm 데이터는 스토리지에 저장이 되기 때문에 SAP HANA 어플라이언스의 스토리지 중요성은 더 커지게 됩니다.

안정성과 고가용성을 갖춘 하이엔드 스토리지 모델을 적용한 Hitachi UCP(Unified Compute Platform)는 이러한 다이내믹 티어링 기능을 사용하기에 가장 적합한 SAP HANA 어플라이언스 제품이라고 할 수 있습니다.

또한 UCP는 Hitachi의 스토리지 어레이가 제공하는 다이내믹 스토리지 티어링 기능을 통해 Warm에서 쿨(cool)과 콜드(cold)에 이르는 또 다른 차원의 자동화된 티어링 기능을 누릴 수도 있습니다.