본문 바로가기

하둡

'루마다 데이터 옵티마이저', 하둡에 날개를 달다 2025년에는 전 세계의 데이터가 지금보다 5배 이상 증가할 전망이다. 데이터의 가치 극대화는 이미 기업 경쟁력을 좌우하는 핵심 요소가 됐다. 물론 데이터의 가치를 끌어낼 수 있는 하둡(Hadoop)이라는 툴이 있다. 그러나 하둡도 지금처럼 급증하는 데이터를 처리하기에는 역부족이다. 지능형 데이터 티어링 솔루션 HDFS(Hadoop Distributed File System)는 수많은 데이터 노드를 컴퓨팅과 스토리지가 위치한 단일 풀(pool)로 통합하는 클러스터 스토리지를 제공한다. 오래된 데이터가 누적돼 클러스터가 꽉 차면 스토리지 용량을 추가해야 하는데, 하둡(Hadoop) 환경에서는 스토리지와 컴퓨팅 용량을 함께 추가해야 한다. 이렇게 되면 리소스 간 불균형이 발생하거나 효율성도 떨어질 수 있다... 더보기
데이터 분석 파이프라인에서 Hadoop 활용하기 Source by Leverage Hadoop in the Analytic Data Pipeline www.hitachivantara.com, 2018년 6월 더보기
이젠 빅데이터로 경쟁하자 빅데이터(Big Data)는 기술의 성숙 단계를 지나 활용 단계에 접어 들었다. IT 기업의 핵심 운영 시스템으로 확산 중이며 기술적인 측면에서도 플랫폼의 성능과 기능이 나날이 향상되고 있다. 정부는 빅데이터를 신성장 동력으로 규정하고 다양한 업종에서 성공 사례를 만들고 있는 중이다. 현실 사회로 성큼 다가선 현재의 빅데이터 트렌드를 통해 기업 IT의 적용 시점을 유추해 보자. 비즈니스적 관점 전통적인 데이터 분석 환경과 빅데이터 분석 환경에는 큰 차이가 있다. 전통적 데이터 분석 환경에서는 과거 현상을 기반으로‘ 어떤 일이 있었는가’ 또는‘ 무엇이 문제였는가’ 등에 대한 원인 규명에 초점을 두었으며, 대부분 정형화된 데이터를 상용 소프트웨어에 의존해 분석했다. 하지만 빅데이터 분석 환경으로 넘어오면서 .. 더보기
빅데이터에 대한 환상과 실체 빅데이터를 실질적으로 활용하기 위해 활발하게 움직이는 기업이 많아지고 있지만, 아직까지 도입을 망설이고 있는 기업들도 적지 않다. 또한 사물인터넷(Internet of Things: IoT) 시대가 시작됨에 따라, IT 기술에 대한 지식이 부족한 현업부서에서도 빅데이터에 대한 관심과 도입의 필요성에 대한 공감대가 확대되고 있다. 본 연재는 앞으로 4회에 걸쳐 빅데이터의 기본적인 이해부터, 트렌드, 사례, 전망 등에 대해 기술함으로써 고객에게 도움을 주고자 한다. 이번 호에서는 빅데이터에 대한 기본적인 이해를 돕기 위해 빅데이터의 유래와 특징 그리고 빅데이터에 대해 대중들이 주로 오해하고 있는 부분들을 살펴본다. 빅데이터란 무엇인가‘빅데이터(Big Data)’라는 단어의 정확한 유래에 대해선 아직도 논란이.. 더보기
성공 비즈니스의 새 판을 짜다 기업의 비즈니스 성장을 위한 새로운 기회는 자산으로서의 데이터를 어떻게 활용 하느냐에 달려 있다. 구글, 야후, 페이스북 등 웹 기업들은 아파치 하둡(Apache Hadoop)과 맵리듀스(MapReduce)로 대용량의 데이터 자산을 저장·관리하고, 분석 솔루션을 이용해 비즈니스 통찰력을 끌어낸다. Hitachi HSP(Hyper Scale-Out Platform)는 서버 컴퓨팅, 서버 가상화, 스토리지를 하나의 어플라이언스에 견고하게 통합한 하이퍼 컨버지 (Hyper-converged) 플랫폼이다. 서버와 스토리지 인프라를 개별적으로 가상화할 필요가 없어 운영 비용과 설비투자 비용을 절감할 수 있다. 컴퓨팅과 데이터 집약적인 운영이 가능해 하둡/분석 작업에 이상적인 솔루션이다. 엔터프라이즈급 하둡/분석 .. 더보기
스마트 시티를 위해서는 스마트 IT 아키텍처가 필요하다 최근 아시아 내 주요 공항에서 환승해 본 경험이 있다면, 아마 어렵지 않게 각종 광고판들을 통해 아시아의 수많은 도시들이 얼마나 빠르게 변하고 있는지 아실 수 있을 것이다. 하지만 세계 최고 수준의 공항과 주상 복합 타워, 첨단 교통 인프라 등은 단지 도시의 아름다움을 위해 건설된 것이 아니다. 스마트 시티를 향한 변화의 과정이다. 아태지역의 성장 모멘텀을 이끌어 나아가고 있는 중요한 요인 중 하나는 ‘인구 증가’이다. Boston Consulting Group의 조사에 따르면, 가장 높은 인구 증가율이 예측되는 도시 21개 중 16개가 아시아에 속해 있는 것으로 나타났다. 인도의 Narendra Modi 총리는 새로운 위성 도시 및 기존의 중대형 도시를 중심으로 100여개의 스마트 시티를 구축하고자 함.. 더보기
현실이 된 빅데이터 비즈니스의 거대물결이 되다 빅데이터는 기업을 똑똑하게 만든다. 고객이 무엇을 원하는지 들여다보고 그 마음을 흔들 수 있다. 자연히 돈을 벌 수 있는 길이 따라온다. 기업들이 빅데이터에 열광하는 이유다. 고객 입장에서도 좋은 점이 적지 않다.‘ 나보다 나를 더 잘 알게 된 기업’이 제공해주는 맞춤형 서비스에 한번 맛을 들리면 헤어 나오기 쉽지 않다. 그 틈새로 ‘빅브라더’에 대한 경계심도 들어선다. 빅데이터의 명(明)과 암(暗)에 관한 논쟁이다. 빅데이터가 지구촌을 뜨겁게 달구고 있다. 기업들은 너도나도 빅데이터를 새로운 비즈니스 모델의 기반으로 만들려 하고 있다‘. 데이터가 기업 재무제표에 표시되는 것도 시간 문제’라는 말도 들린다. 흔히 빅데이터를 단어대로 데이터의 크기로 치부해 버리기도 하지만 이보다는 가치의 크기에 가깝다. .. 더보기