본문 바로가기

빅데이터

비즈니스 성공 가도를 달리는 데이터 분석의 기술_Part 02 PART 02 빅데이터 분석 지형을 바꾸다 원스톱 플랫폼 ‘펜타호’가 남다른 까닭 SNS, 인터넷, 이메일 등 정형 데이터뿐만 아니라 비정형을 포함한 새로운 구조의 데이터를 처리하는 빅데이터 분석 플랫폼에 대한 요구 조건이 까다로워지고 있다. 단절되거나 산재되어 있는 여러 시스템에서 진행되는 작업으로는 빅데이터를 통해 효율적으로 비지니스 가치를 창출하기 어렵다는 판단에서다. 빅데이터에서 가치를 이끌어낼 수 있는, 제대로 된 빅데이터 분석 플랫폼 ‘펜타호(Pentaho)’를 알아보자. 시장조사업체 IDC에 따르면, 전 세계 데이터 규모는 2025년에 163 제타바이트(Zetabytes)에 이를 것이라고 한다. 2016년 데이터 발생량을 기준으로 10배에 달하는 예상치다. 또한 이 데이터 중 4분의 1 이상.. 더보기
비즈니스 성공 가도를 달리는 데이터 분석의 기술_Part 01 고객들은 분석 기능으로부터 많은 이점을 이끌어낼 수 있다. 리포팅, 분석, 대시보드, 시각화 툴은 사용 만족도를 높이고, 시장 경쟁력을 제공하며, 비즈니스 성장을 가속화할 수 있다. 그러나 고객이 이러한 성과를 얻게 하기 위해서는 리소스 투자, 프로젝트 시점, 리스크 관리, 사용자 니즈에 대한 세밀하고 꼼꼼한 접근 방식과 적절한 검토가 필요하다. 현재 필요한 분석 기능을 자체 개발할 것인가, 아니면 전문 벤더의 솔루션을 구매할 것인가. 각각의 장단점을 들여다 보고, 히타치 밴타라의 빅데이터 분석 플랫폼인 ‘펜타호(Pentaho)’를 살펴본다. PART 01 구매 vs 자체 개발 비즈니스 데이터 분석 위한 최선의 방법은? ‘구매 vs 자체 개발’은 소프트웨어 영역에서 아주 오래된 딜레마다. 대규모 엔지니어.. 더보기
실시간 분석 ·AI로 확장되는 빅데이터 기술, 공인된 솔루션 플랫폼 ‘Hitachi UCP’로 통하다 메인프레임, UNIX-오픈 시스템, 서버-클라이언트, x86, 서버 가상화 그리고 클라우드. 시대별 사람들의 옷차림이 유행에 따라 변화하듯, 어쩌면 IT도 시대별 유행을 따른다. ‘신념’ 이라 불릴 정도로 굳건했던 기술들이 새로운 기술의 출현으로 급격히 소멸해가는 것을 우리는 수없이 경험했다. 이런 IT 변화의 흐름에 역행하거나 동떨어져 있는 상황에서 기업이 살아남기란 매우 어렵다. 새로운 기술이 과거의 문제를 해결한다. 시장은 새로운 기술의 전문가를 찾게 되며, 이는 주류 인력 풀의 이동으로 이어지고, 동시에 이를 통해 다양한 신규 솔루션이 지속적으로 시장에 공급되는 선순환 구조가 형성된다. 과거에는 불가능했던 문제를 해결할 수 있는데 굳이 과거에 집착할 필요가 없기 때문이다. 우리는 이것을 혁신이라고.. 더보기
머신러닝의 프레임을 그리다 지난 3월, 히타치 밴타라 연구소(Hitachi Vantara Labs)는 머신러닝 모델 매니지먼트(Machine Learning Model Management, 이하 MLMM)를 발표했다. 이는 머신러닝 오케스트레이션을 통해 데이터 사이언티스트가 지도 모델(Supervised Model)을 모니터링, 테스트, 재교육 및 재배포할 수 있도록 해주는 툴로, 빌트인 형태로 펜타호의 데이터 파이프라인에 활용할 수 있어 끊임없이 변화하는 환경에 대응해 모델 업데이트를 간편히 수행할 수 있다. 비즈니스 성과는 향상시키면서 리스크는 줄일 수 있게 된 것이다. 뿐만 아니라 향상된 투명성으로 알고리즘에 대한 통찰력과 신뢰도도 높일 수 있다. 머신러닝은 별도의 프로그래밍 없이 샘플을 입력하는 것만으로 모델을 구축함으로써.. 더보기
지금은 빅데이터 시대! 데이터 품질 관리로 경쟁 우위를 선점하라 빅데이터 시대가 도래하면서 기업이 개별적으로 데이터를 수집해 분석하는 것보다 훨씬 더 많은 데이터를 편리하게 이용할 수 있게 됐다. 고품질의 데이터는 기업의 비즈니스 전략을 수립하거나 정보를 기반으로 의사 결정하는 경우 필수 요소로 자리 잡았다. 많은 기업들이 데이터 품질 향상의 필요성을 충분히 알고 있고, 데이터 활용으로 얻는 이점에 대해서도 이해하고 있다. 그러나 어디서부터 시작해야 하는지 모르는 경우가 많다. 어떤 데이터를 좋은 데이터라고 정의하며, IT 인프라에 필요한 시간과 투자는 어떻게 만들어 낼지, 데이터가 끊임 없이 생성되고 있는 상황에서 비즈니스 운영에 영향을 미치지 않고 변화를 어떻게 구현할 것인지. 이와 같이 몇 가지 문제가 있음에도 불구하고 변하지 않는 사실이 하나 있다. 바로 ‘적.. 더보기
빅데이터의 바다, 인공지능을 품다 2016년 3월 구글 딥마인드(DeepMind)가 만든 알파고(AlphaGo)가 세계적인 바둑기사 이세돌을 4승1패로 이긴 이후, 우리나라뿐만 아니라 전세계적으로 인공지능(AI, Artificial Intelligence)에 대한 관심이 증폭되었다. 사실 ‘인공지능’이라는 개념은 1956년 소수의 수학자와 과학자들이 모인 다트머스 회의에서 처음으로 탄생했지만, 여러 가지 이유로 인해 관심 밖으로 밀려나 등한시되었다. 1997년 IBM의 인공지능 딥블루(Deep Blue)가 세계 체스 챔피언을 이기는 사건이 발생했고, 이후 컴퓨팅 기술의 발전, 하드웨어의 고사양화와 함께 빅데이터 시대를 맞이하면서 인공지능은 급속도로 진화하게 된다. 1990년대 중반까지 인공지능이 선험적인 경험과 지식을 활용하는 형태였다면.. 더보기
산업계를 흔들어 놓은 AI, 근거 없는 믿음 vs 현실 물리학자 스티븐 호킹은 AI(Artificial Intelligence, 인공지능)의 개발이 “최선이거나 아니면 인류에게 결코 발생해서는 안될 최악의 상황을 초래할 것” 이라고 경고했다. 하지만 필자는 ‘AI가 진정한 승자가 될 것’ 이라는 낙관적인 입장이다. 특히 금융서비스 등 실질적으로 세계 경제를 주도하는 산업 분야에서는 더더욱 그렇다. AI는 획기적인 사건이다. 전문가들은 2030년까지 AI가 15조 7천억 달러 혹은 현재의 중국과 인도의 경제 규모를 합한 것 이상으로 세계 경제에 기여할 것으로 전망한다. 맥킨지(Mcki nsey)에 따르면 거대 IT 기업들은 이미 AI 기술개발에 200~300억 달러를 투자하고 있는 것으로 나타났다. IBM의 ‘왓슨’, 구글의 ‘딥마인드’, 히타치의 ‘H’ 등이.. 더보기
혁신적인 스마트시티 그 성공의 비결은? 글로벌 시장조사기관인 IDC는 현재 전 세계 도시들의 최우선 과제가 ‘스마트시티(Smart City)’라고 확신한다. 스마트시티로의 여정에 실패한 도시는 자본 투자, 관광객, 지역 사람, 비즈니스 측면에서 경쟁력을 잃을 수밖에 없다. 뿐만 아니라 IoT(사물인터넷) 및 모든 산업 영역의 근간을 뒤흔드는 파괴적 기술(Disruptive Technologies)을 통해 얻을 수 있는 잠재적인 기회마저 사라지게 된다는 것이다. Hitachi Insight Group이 발표한 세 가지 성공 사례를 통해 스마트시티가 도시와 그 구성원들에게 어떤 도움을 주고 있는지를 구체적으로 알아보자. 미국 캘리포니아의 모레노밸리 경찰청(Moreno Valley Police Department, 이하 MVPD)은 지난 2011년.. 더보기
Pentaho IoT Analytics 데모 영상 IoT 분석은 엣지 단에서 비즈니스 성과로 간단히 이어질 수 있습니다. Pentaho는 인사이트와 비즈니스 성과에 집중하고 있습니다. 특히 데이터의 통합부터 검증, 클렌징, 처리, 오케스트레이션을 포함해 머신러닝 모델링 및 테스트, 분석 결과물 시각화 등의 다양한 기능을 제공합니다. 더보기
데이터 이해하기: 금덩어리인가? 퍼즐 조각인가? 데이터 분석의 가치를 설명할 때 “커다란 단지에 가득 찬 금 덩어리”라는 표현이 사용되곤 한다. 매우 직관적으로 쉽게 이해할 수 있는 표현이다. 대부분의 청중들은 금의 가치를 잘 알고 있으며, 누구나 한번쯤 금맥을 발견하기를 소망할 것이다. 하지만 막상 상당량의 금 덩어리를 발견한다면 어떨까? 아마도 엄청난 무게의 금을 쉽게 옮길 수 없을 것이며, 커다란 단지에 우선 보관해 두려고 할지 모른다. 혹은 아일랜드의 황금요정 레프리콘처럼 땅 속에 오랫동안 묻어놓고 때때로 회상하며 즐거움을 간직하는데 그칠 수도 있다. 어쩌면 이 글을 여러분도 “어떤 블로그에서 봤는데, 데이터 분석의 가치를 단지에 담긴 금덩이 비유하는 바보가 있더라”며 필자를 비웃을지도 모른다. 설령 그렇다 하더라도 그것 또한 반길 일이다. 반.. 더보기

티스토리툴바