다크데이터 썸네일형 리스트형 데이터 수집부터 통찰력 확보까지, 완벽한 데이터 통합 분석 로드맵 정형·비정형·반정형 데이터 등으로 데이터의 종류와 형태가 다양해지고 데이터 양이 급증했지만, 기업에는 빅데이터를 처리할 이렇다 할 플랫폼이 없어 문제가 된 시기가 있었다. ‘빅데이터’라는 용어가 회자된 2010년대 초반의 얘기다. 몇 년이 지나서야 기업들 사이에서 데이터 수집을 목적으로 하는 빅데이터 인프라 플랫폼 구축이 시작되었다. 데이터는 넘쳐나는데 정작 분석에 활용할 수 있는 데이터는 많지 않았기 때문이다. 그런데 빅데이터 플랫폼을 구축하고 보니 또 다른 문제가 발생했다. 분석에 활용되지 못한 채 방치되는 ‘다크 데이터(Dark data)’가 많아진 것이다. 이는 빅데이터 인프라 구축의 목적을 ‘데이터의 품질’이 아닌 ‘데이터의 수집’에만 두었기 때문에 발생한 문제다. 다크 데이터는 현재도 심각한 .. 더보기 지금은 다크 데이터 100% 활용 시대! 곳곳에서 양산되는 다크 데이터 전력 업체들은 몇 년에 한 번씩 수많은 드론을 띄운다. 전력 타워, 전송선 등 작업자가 접근하기 어려운 설비들을 점검하고 데이터를 수집하기 위해서다. 전 세계 고압선을 한 줄로 연결하면 총길이가 무려 300만 마일(약 483만km)에 달한다. 이는 지구에서 달까지 여섯 번 정도 왕복할 수 있는 거리다. 지역 곳곳에 설치된 송전선은 약 6,400만 마일로 이보다 훨씬 더 길다. 이처럼 엄청난 규모의 송전선 곳곳을 촬영하는 드론이 수집하는 이미지의 양은 얼마나 될까? 또 이렇게 수집된 데이터는 충분히 활용되고 있을까? 이 질문에 대한 답은 예상 밖이다. 드론을 통해 수집된 정보는 대부분 분석 과정 없이 원본 데이터 그대로 보관된다. 간혹 특정 지점에 문제가 발생하면, 과거 기록.. 더보기 이전 1 다음
