본문 바로가기

빅데이터

머신러닝의 프레임을 그리다 지난 3월, 히타치 밴타라 연구소(Hitachi Vantara Labs)는 머신러닝 모델 매니지먼트(Machine Learning Model Management, 이하 MLMM)를 발표했다. 이는 머신러닝 오케스트레이션을 통해 데이터 사이언티스트가 지도 모델(Supervised Model)을 모니터링, 테스트, 재교육 및 재배포할 수 있도록 해주는 툴로, 빌트인 형태로 펜타호의 데이터 파이프라인에 활용할 수 있어 끊임없이 변화하는 환경에 대응해 모델 업데이트를 간편히 수행할 수 있다. 비즈니스 성과는 향상시키면서 리스크는 줄일 수 있게 된 것이다. 뿐만 아니라 향상된 투명성으로 알고리즘에 대한 통찰력과 신뢰도도 높일 수 있다. 머신러닝은 별도의 프로그래밍 없이 샘플을 입력하는 것만으로 모델을 구축함으로써.. 더보기
지금은 빅데이터 시대! 데이터 품질 관리로 경쟁 우위를 선점하라 빅데이터 시대가 도래하면서 기업이 개별적으로 데이터를 수집해 분석하는 것보다 훨씬 더 많은 데이터를 편리하게 이용할 수 있게 됐다. 고품질의 데이터는 기업의 비즈니스 전략을 수립하거나 정보를 기반으로 의사 결정하는 경우 필수 요소로 자리 잡았다. 많은 기업들이 데이터 품질 향상의 필요성을 충분히 알고 있고, 데이터 활용으로 얻는 이점에 대해서도 이해하고 있다. 그러나 어디서부터 시작해야 하는지 모르는 경우가 많다. 어떤 데이터를 좋은 데이터라고 정의하며, IT 인프라에 필요한 시간과 투자는 어떻게 만들어 낼지, 데이터가 끊임 없이 생성되고 있는 상황에서 비즈니스 운영에 영향을 미치지 않고 변화를 어떻게 구현할 것인지. 이와 같이 몇 가지 문제가 있음에도 불구하고 변하지 않는 사실이 하나 있다. 바로 ‘적.. 더보기
빅데이터의 바다, 인공지능을 품다 2016년 3월 구글 딥마인드(DeepMind)가 만든 알파고(AlphaGo)가 세계적인 바둑기사 이세돌을 4승1패로 이긴 이후, 우리나라뿐만 아니라 전세계적으로 인공지능(AI, Artificial Intelligence)에 대한 관심이 증폭되었다. 사실 ‘인공지능’이라는 개념은 1956년 소수의 수학자와 과학자들이 모인 다트머스 회의에서 처음으로 탄생했지만, 여러 가지 이유로 인해 관심 밖으로 밀려나 등한시되었다. 1997년 IBM의 인공지능 딥블루(Deep Blue)가 세계 체스 챔피언을 이기는 사건이 발생했고, 이후 컴퓨팅 기술의 발전, 하드웨어의 고사양화와 함께 빅데이터 시대를 맞이하면서 인공지능은 급속도로 진화하게 된다. 1990년대 중반까지 인공지능이 선험적인 경험과 지식을 활용하는 형태였다면.. 더보기
산업계를 흔들어 놓은 AI, 근거 없는 믿음 vs 현실 물리학자 스티븐 호킹은 AI(Artificial Intelligence, 인공지능)의 개발이 “최선이거나 아니면 인류에게 결코 발생해서는 안될 최악의 상황을 초래할 것” 이라고 경고했다. 하지만 필자는 ‘AI가 진정한 승자가 될 것’ 이라는 낙관적인 입장이다. 특히 금융서비스 등 실질적으로 세계 경제를 주도하는 산업 분야에서는 더더욱 그렇다. AI는 획기적인 사건이다. 전문가들은 2030년까지 AI가 15조 7천억 달러 혹은 현재의 중국과 인도의 경제 규모를 합한 것 이상으로 세계 경제에 기여할 것으로 전망한다. 맥킨지(Mcki nsey)에 따르면 거대 IT 기업들은 이미 AI 기술개발에 200~300억 달러를 투자하고 있는 것으로 나타났다. IBM의 ‘왓슨’, 구글의 ‘딥마인드’, 히타치의 ‘H’ 등이.. 더보기
혁신적인 스마트시티 그 성공의 비결은? 글로벌 시장조사기관인 IDC는 현재 전 세계 도시들의 최우선 과제가 ‘스마트시티(Smart City)’라고 확신한다. 스마트시티로의 여정에 실패한 도시는 자본 투자, 관광객, 지역 사람, 비즈니스 측면에서 경쟁력을 잃을 수밖에 없다. 뿐만 아니라 IoT(사물인터넷) 및 모든 산업 영역의 근간을 뒤흔드는 파괴적 기술(Disruptive Technologies)을 통해 얻을 수 있는 잠재적인 기회마저 사라지게 된다는 것이다. Hitachi Insight Group이 발표한 세 가지 성공 사례를 통해 스마트시티가 도시와 그 구성원들에게 어떤 도움을 주고 있는지를 구체적으로 알아보자. 미국 캘리포니아의 모레노밸리 경찰청(Moreno Valley Police Department, 이하 MVPD)은 지난 2011년.. 더보기
Pentaho IoT Analytics 데모 영상 IoT 분석은 엣지 단에서 비즈니스 성과로 간단히 이어질 수 있습니다. Pentaho는 인사이트와 비즈니스 성과에 집중하고 있습니다. 특히 데이터의 통합부터 검증, 클렌징, 처리, 오케스트레이션을 포함해 머신러닝 모델링 및 테스트, 분석 결과물 시각화 등의 다양한 기능을 제공합니다. 더보기
데이터 이해하기: 금덩어리인가? 퍼즐 조각인가? 데이터 분석의 가치를 설명할 때 “커다란 단지에 가득 찬 금 덩어리”라는 표현이 사용되곤 한다. 매우 직관적으로 쉽게 이해할 수 있는 표현이다. 대부분의 청중들은 금의 가치를 잘 알고 있으며, 누구나 한번쯤 금맥을 발견하기를 소망할 것이다. 하지만 막상 상당량의 금 덩어리를 발견한다면 어떨까? 아마도 엄청난 무게의 금을 쉽게 옮길 수 없을 것이며, 커다란 단지에 우선 보관해 두려고 할지 모른다. 혹은 아일랜드의 황금요정 레프리콘처럼 땅 속에 오랫동안 묻어놓고 때때로 회상하며 즐거움을 간직하는데 그칠 수도 있다. 어쩌면 이 글을 여러분도 “어떤 블로그에서 봤는데, 데이터 분석의 가치를 단지에 담긴 금덩이 비유하는 바보가 있더라”며 필자를 비웃을지도 모른다. 설령 그렇다 하더라도 그것 또한 반길 일이다. 반.. 더보기
당신이 있는 곳에 빅데이터 있다 오늘날의 IT 트렌드를 논할 때 AI(Artificial Intelligence: 인공지능)와 IoT(Internet of Things: 사물인터넷)등이 자주 회자되곤 한다. 그리고 이러한 기술 이면에는 빅데이터 기술과의 연계가 필수다. ‘빅데이터’란 용어는 지난 2~3년 동안 대중에게 많이 전파되었지만, 여전히 특정 기업의 전유물로 생각하는 이들 또한 적지 않다. 하지만 글로벌 IT 기업 중심으로 빅데이터를 새로운 성장 동력으로 인식해 시장을 리드하고 확산에 심혈을 기울이고 있으며, 주 사용자인 기업들 역시 빅데이터 기술을 활용해 기존 업무 프로세스를 개선하거나 새로운 부가가치를 창출하려는 노력을 지속한다. 많은 미디어 매체들을 통해, 기존에 분석하지 못했거나 개선하고자 하는 과제들에 빅데이터를 적용함.. 더보기

What Inspires Sustainable Technology?