본문 바로가기

데이터 중복제거

올플래시 스토리지에 대한 오해와 진실 오해 1, SSD의 대세는 TLC! 용량과 가격 면에서 뛰어난 TLC를 선택하자? 엔터프라이즈 SSD(Solid State Drive)에는 MLC와 TLC가 주류를 이룬다. MLC(Multi Level Cell)는 하나의 셀(Cell)에 2bit를 저장하는 방식이다. TLC(Triple Level Cell)는 3개의 bit를 총 8가지의 정보로 표현한다. 따라서 데이터 저장 용량은 2배인데 비해 가격은 1/2에 불과하다. 셀을 종이컵이라고 생각해보자. 종이컵 속 물을 전자로, 물을 채우는 것을 쓰기 작업으로, 물을 마시는 것을 데이터 지우기로 가정할 때, 한 개의 종이컵에 여러 번 물을 채우고 마시다 보면 컵의 입구가 닳아버리고 만다. 플래시 메모리가 쓰기 횟수의 제약을 받는 것은 전자가 옮겨 질 때 통.. 더보기
데이터 중복제거, 선택 아닌 필수! 기업이 관리해야 하는 데이터가 폭증하는 상황에서, 양질의 정보를 적재적소에 사용하고, 데이터를 안전하게 백업하기 위해서는 더욱더 방대한 스토리지 및 이를 뒷받침 하기 위한 시스템이 필요하게 되었습니다. 그러나 기업이 사용할 수 있는 비용은 언제나 제한되어 있으며, 최소한의 비용으로 방대한 데이터를 유지 및 관리하기 위해서, 데이터 중복 제거(De-duplication)는 선택이 아닌 필수가 되어가고 있습니다. 중복제거는 서로 다른 데이터(파일)들 간에 중복되는 부분을 검출해내고 백업 파일 저장 시 중복된 부분을 제거한 후 저장하는 기술로, 스토리지 활용의 효율성을 높이는 것을 말하며, 크게 보아 데이터 압축의 일종이라고 볼 수 있습니다. 이는 기존에 일반적인 백업 솔루션이 변경한 파일 전체를 다시 한 번.. 더보기
성능저하 없는 메인 스토리지 중복제거 구현! 중복제거 기능은 시장에서 이미 오랜 기간 사용되어 왔으나, 성능에 미치는 영향을 고려하였을 때 주요 파일이 서비스되는 동안에는 시도되지 않았던 것이 사실입니다. 피크 타임을 피해 작업 일정이 정해질 때까지, 데이터는 중복제거가 되지 않은 채 방치됩니다. 이는 결국 용량 소비에 대한 “세금”을 지불하는 개념으로 시스템이 운영되어 데이터 중복제거 본연의 목표와는 거리가 멀어지게 됩니다. 또한 이 경우 중복 제거를 위해 파일을 별도로 모니터링 후 스케줄링 해야 하므로 복잡성은 더욱 증가하게 됩니다. Hitachi Data Systems의 메인 스토리지 중복제거 HDS는 Hitachi NAS (HNAS) 및 Hitachi Unified Storage (HUS) 제품군에서 메인 스토리지 중복 제거 기능을 제공하고.. 더보기