대량의 데이터를 어떻게 활용하느냐가 기업의 중요 경쟁력으로 자리잡고 있다. 특히 빅데이터 프로젝트는 기업의 비즈니스 기회를 찾고, 성과를 극대화하는 데 도움을 주고 있다. 최근 기업에서의 빅데이터 관심이 높아진 가운데, 지난 9월 3일 제 28회 CIO컨퍼런스에서는 비즈니스 기회를 위한 데이터 선별, 분석 등 다양한 방법론이 소개됐다. 이번 컨퍼런스에는 기업 현장에서 벌어지는 사례를 통해 향후 기업이 빅데이터를 모색하는데 필요한 가이드라인을 제시했다.

양광수 기자 ksyang@ciociso.com

빅데이터 시대, 새로운 인재양성 필요

▲ 최대우 한국외국어대학교 통계학과 교수

최근 기업에서는 빅데이터가 새로운 비즈니스 모델로 등장했다. 그러나 아직 기업들은 빅데이터에 대한 개념 이해가 부족하고, 구축방식에 있어서 많은 고민을 하고 있다. 최대우 한국외국어대학교 통계학과 교수는 기조연설에서 기업이 빅데이터 프로젝트 구축에 있어 고민하는 이유는 국내에서 빅데이터를 운용하는 인력이 부족하고, 데이터를 분석하는 수준이 낮기 때문이라고 주장했다. 그러나 빅데이터는 세계적인 추세이며, 데이터 분석이 더디면 효율성이 낮을 수 있다고 말했다.
최 교수는 빅데이터의 성공요건으로 첫째 속도와 사용편의성, 둘째 데이터시각화, 셋째 현업과의 협업, 마지막으로 저비용 고효율성을 지목했다.
그는 인베디드와 인메모리 기술의 발달로 분석을 자동화시키는 것이 기업의 역량으로 나타고 있으며, 데이터를 시각화해 기업이 실시간으로 데이터를 활용할 수 있는 기회를 제공했다고 설명했다. 또한 최 교수는 빅데이터의 가능성은 IT 부서의 역할을 지원에서 끝내는 것이 아니라 협업을 통해 콘텐츠를 생산하는데 목적을 둘 필요가 있다고 말했다.
최 교수는 “최근 하둡과 같은 오픈소스를 통해 기업이 저비용으로 빅데이터를 구축할 수 있다”며 “기업에게는 저렴한 비용으로 기업의 비즈니스에 혁신을 줄 수 있는 기회를 가지게 됐다”고 말했다. 최 교수는 기업에 있어 많은 고민은 최신기술의 도입보다 그것을 운용하는 데이터 분석전문가의 부재와 운영자들이 어떤 능력을 가져야할지에 대한 고민이 선행돼야한다고 덧붙였다.
 

무한경쟁시대, 빅데이터는 필수조건

▲ 구태훈 테라데이타 이사

과거에 기업이 데이터베이스 500여개를 분석해도 1년이 지나면 활용할 수 있는 정보는 10%도 되지 않았다. 현재에 들어서 분석된 정보의 가치는 더욱 빠르게 사라지고 있다. 이에 따라 정보를 수집하고 저장하는 것에 목적을 두는 것이 아니라, 탐색을 통해서 패턴을 찾고 정보를 도출해야하는 발상의 전환이 필요했다.
구태훈 테라데이타 이사는 “고전적인 BI 환경에서는 IT 부서가 현업의 요구에 필요한 데이터만을 제공했다”며 “IT 부서는 빅데이터 탐색을 통해 기업에 가치를 더할 수 있는 해답을 찾을 수 있다”고 말했다.
구 이사에 따르면 기업은 제한된 시장에서 많은 경쟁자에게 우위를 점하기 위해 데이터를 분석을 하게 된다. 가령 통신사간의 고객 이탈에 있어 기존 통계적 모델로 예측가능한 분석이 있다면, 빅데이터 탐색 및 패턴을 매칭해 실제 두배에 이르는 고객 이탈을 막을 수 있다고 주장했다. 기존 통계적 모델에서는 각 개인에 맞는 요구나 활동반경이 다르기 때문에 개인의 선택에 의해 의사결정이 이뤄지는 특성을 반영하지 못했다. 그러나 빅데이터는 정형데이터와 함께 비정형 데이터를 수집하고, SQL, 텍스트마이닝, 그래프 분석을 통해 비즈니스 가치를 향상시킬 수 있는 장점이 있다.
구 이사는 “빅데이터의 가치는 결국 전사 사용자가 사용하여 협업을 이끌어 내는 것이 중요하다”며 “빅데이터의 투자는 결국 비즈니스에 대한 투자가 되어야 한다고”말했다.

빅데이터 활용분야 점차 증가해

▲ 이동협 마이크로스트레티지코리아 차장

“빅데이터의 투자는 교육, 교통, 헬스케어 등 B2C산업에 머물러 왔다. 그러나 최근 은행, 보안, 미디어, 정부, 공공기관 등 분야를 가리지 않고 많은 투자가 이뤄지고 있다”
이동협 마이크로스트레티지코리아 차장은 빅데이터의 투자현황을 살피며 발표를 시작했다. 특히 검색엔진분야는 어떤 콘텐츠가 랭킹되는지에 대한 분석이 주로 이뤄지며, 은행과 금융분야은 리스크 평가에 빅데이터를 활용하고 있다. 오프라인에서 활동하는 기업의 경우, 클릭스트림을 구성해 새로운 비즈니스를 창출하며, 소셜 CRM을 구축해 소비자와의 관계개선을 모색하는 것도 빅데이터의 활용영역이다.
이 차장은 빅데이터 활용 사례로써 사용자들이 외부에서 가져온 데이터를 분석한 자료를 발표했다. 특히 UEFA 챔피온스 리그와 항공사 간의 빅데이터 분석 사례를 들며, 페이스북이나 트위터같은 소셜미디어의 분석을 통한 빅데이터의 가능성을 살폈다. 항공사는 빅데이터 분석을 통해 항공편과 인력 배치를 합리적으로 수행했다. 또한 UEFA 챔피온스 리그를 언급한 사용자들에게서 더 많은 매출 빈도가 일어났다.
이 차장은 “단순히 소셜미디어 상에서 많이 언급된다고 더 많은 가치가 있는 것은 아니다”라며 “사용자들이 얼마나 긍정적인지, 또 부정적인지, 그리고 얼마나 열정적인지에 대한 감성 분석이 이뤄져야 가치를 평가할 수 있다”고 말했다.
그는 1.5%의 충성도 높은 고객이 전체 구매의 80%를 차지한다고 말하며, 빅데이터를 통한 세밀한 마케팅을 통해 매출극대화를 노릴 수 있다고 강조했다.
 

저전력과 고성능 두 마리 노린다

▲ 육민한 아이오브테크 대표이사

최근 빅데이터 플랫폼은 대용량 처리기술과 정형데이터와 비정형데이터의 수집 및 처리기술 강화를 꾀하고 있다. 또한 빠른 데이터 처리와 대량의 이기종 데이터 저장 및 분석이 요구되고 있다. 특히 기업의 내적 정보와 함께 인터넷, 소셜미디어 분석역량이 강화되면서 인프라 기반 기술이 눈부시게 발전하고 있다.
그중에서도 분산 컴퓨팅 기술은 고가의 슈퍼컴퓨터를 이용하지 않아도 기업의 일반서버를 통해, 연산기능을 여러대로 분산 병렬처리하는 것이 핵심이다. 이런 분산 컴퓨팅 기술은 빅데이터 활용에 있어서 시스템 확장과 가용성을 제공한다.
고성능 컴퓨팅도 데이터를 고속으로 처리하기 위한 요구로 빠르게 발전하고 있다. 인메모리 컴퓨팅으로도 기존의 디스크 기반 스토리지 대비 월등히 빠른 처리속도로 빅데이터 플랫폼이 구성되고 있다. 국내에서는 빅데이터 인프라를 구축할 때, 성능만을 고려한 채 사용전력을 등한시 하는 경우가 많았다. 그러나 선진국은 빅데이터를 구축할 때 건물설계부터 저전력으로 설계하고, 고성능, 고효율화를 통해 전력소비를 절감한다. 또한 최근 각광받고 있는 SSD를 통해 기존의 HDD 대비 0.7%로 저전력과 고효율을 동시에 잡을 수 있다.
육민한 아이오브테크 대표이사는 “많은 전력을 사용하는 빅데이터 인프라는 결국 기업에게 천문학적인 자원을 소비케 한다”며 “결국 합리적인 빅데이터 인프라 구축은 저전력과 고효율을 동시에 추구하는 비용 최적화를 모색해야 한다”고 말했다.
 

혁신과 비용, 균형적 관점 필요

▲ 임정혜 한국 인포매티카 TCG사업부 부장

“빅데이터에 있어 2가지 관점이 있다. 첫째는 흩어진 데이터에 대해 새로운 비즈니스를 모색하는 관점과 다양한 데이터를 수집하고 분석하는 비용을 고민하는 IT 측면에서의 관점이 그것이다”
임정혜 한국 인포매티카 TCG사업부 부장은 빅데이터를 두 가지 관점에 대해 화두를 던졌다. 그리고 빅데이터 환경의 IT 당면 과제로써 데이터 볼륨의 지속적인 증가와 새로운 형태의 데이터 처리방식의 필요성을 지적했다. 또한 빅데이터 전문가가 적다는 것도 당면 과제로 꼽았다.
그러나 임 부장은 실제로 빅데이터가 지연되거나 실패하는 이유는 기업이 고민없이 분석적인 측면에서 빅데이터를 도입하려는 이유가 크다고 설명했다. 사용자가 볼 수 있는 20% 빅데이터 프로젝트보다 사용자가 볼 수 없는 데이터 통합과 품질관리가 더욱 중요하며, 기업은 기업의 데이터를 잘 운용할 수 있어야 빅데이터 프로젝트가 성공할 수 있다고 주장했다.
최근의 빅데이터 인프라는 하둡기반 장점을 최대화하고, 기존 보유 기술력을 활용해 관리비용을 절감할 수 있다. 또한 단일 플랫폼으로 신기술 요소 도입의 위험성을 최소화했다. 전사적 성능 확장성과 보안 관리 및 기술을 지원하며 비즈니스 혁신을 더하는 장점이 있다.
임 부장은 “빅데이터는 많은 자본을 투자해 혁신을 이루는 것이 아니다”라며 “저비용으로 당면과제를 해결할 수 있는 기업의 혜안이 필요하다”고 말했다.
제 28회 CIO컨퍼런스는 9월 3일 양재동 엘타워에서 각 계 CIO와 IT부서 부서장 120여 명이 참석했다. 한편 LG디스플레이 품질PI팀 안희준 차장이 LG디스플레이의 빅데이터 활용현황과 향후 계획을 발표해 빅데이터를 준비하는 많은 기업들의 관심을 받았다.