김정선
SK텔레콤 기업사업부문 성장솔루션사업팀 매니져 
jungsun.kim@sk.com

커다란, 아주 커다란 세상이 우리에게 다가오고 있다. 그것은 기업 입장에서 위기도, 기회도 될 수 있는 다이나믹한 세상이다. 불확실의 시대를 살아가는 기업에게 빅데이터는 과연 무슨 의미일까?

빅데이터의 정의
맥킨지(Mckinsey)가 2011년에 내린 빅데이터의 정의에 따르면 빅데이터란 ‘일반적인 데이터 베이스의 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터’이다.
같은 해 IDG는 ‘다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터로부터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 아키텍쳐’라고 정의 내리고 있다.
전자의 정의가 데이터의 규모적인 측면에 보다 초점을 맞추고 있다면 후자의 정의는 보다 폭넓은 관점에서 수집, 보관, 처리, 분석에 대한 전 방위적 측면을 아우른다.
그러므로 빅데이터란 기존 데이터에 비해 너무 커서, 기존 방법/도구로는 수집/저장/검색/분석/시각화 등이 어려운 데이터 세트를 대상으로 그 수집/저장/검색/분석/시각화를 가능하게 하는 Full Process 영역의 관련 기술과 노하우를 의미한다고 하겠다.
‘얼마나 큰가’는 상대적인 개념이겠지만 데이터의 사이즈 측면에선 일반적으로 하나의 데이터 세트 용량이 수십 Terabyte 이상 혹은 Petabyte를 초과할 경우 빅데이터라고 이야기한다.
그러나 빅데이터를 용량만으로는 정의하기 애매하기 때문에, Doug Laney는 2011년, Volume(데이터의 양), Velocity(데이터 입출력의 속도), Variety(데이터 형식, 소스의 다양한 정도)의 ‘3V’로 특징을 설명하기도 했다.
이렇듯 빅데이터는 아직 확실히 정의하기엔 다소 포괄적 용어이며 아직까지 지속적으로 진화, 발전하는 개념이라고 보여진다.
그러나 가트너(Gatner)는 데이터가 21세기의 원유가 될 것이며 미래의 경쟁 우위를 좌우할 것이라고 예견하고 있다.
2012년 통신사업자 최대의 화두는 LTE다. 전 세계적으로 4G LTE에 대한 투자가 증가함에 따라 스마트폰 이용자 행태도 변화할 것이라고 기대한다.
3G에서 불편하게 여겨지던 동영상 스트리밍(video streaming)이나 파일 공유(P2P), 웹브라우징(web-browsing) 등이 All_ IP망 기반의 LTE 환경에선 더 이상 제약이 되지 않을 것이며 스마트폰 이용자들은 보다 자유롭고 다양한 서비스 콘텐츠들을 찾아 이용하게 될 것이다. 이를 통해 쏟아져 나올 수많은 음성과 데이터 트래픽은 다시 데이터화화 돼서 서비스 진화 및 발전에 활용될 것이다.

빅데이터 관련 업계동향
IDC 디지털 유니버스 연구에 따르면 2011년 생성되고 복제된 데이터의 양이 5년 새 9배나 증가된 1.8 제타바이트(1조8천억 기가바이트)를 넘어섰다고 한다. 만약 빅 데이터 시장이 존재한다면, 그 가치는 현재 50억 달러 이상이 될 것이란 분석이 제기되기도 했다.
IT업계는 빅데이터라는 화두아래 그 운영기반 및 대용량 처리 시스템, 솔루션, 스토리지 등을 판매하며 빠르게 성장하고 있으며 기업들의 인수합병도 활발하게 진행되고 있다.
주목할 것은 주요 빅데이터 전문 업체 4곳 중 3곳이 최근에 인수됐다는 것인데 총 8,400만 달러의 빅데이터 관련 매출을 올리던 버티카(Vertica)는 HP의 사업부로 흡수됐고, 5,200만 달러 규모의 애스터 데이터(Aster Data)는 테라데이터에 인수됐다. 4,300만 달러의 빅데이터 매출을 올리던 그린플럼은 EMC에 인수됐다는 점이다.
이외에 빅데이터 전문업체로는 스플렁크(Splunk)가 자사의 전체 매출 6,300만 달러 중 4,500만 달러를 빅데이터 시장에서 벌어 들였다. 하둡 어플라이언스와 관련해 오라클과 협력관계를 맺고 있는 클라우데라는 1,800만 달러의 매출 모두를 빅데이터 시장에서 올리고 있다.
1010데이터는 자사 매출 3,000만 달러 중 절반이 빅데이터 관련 매출이다. 이외에 빅데이터 전문업체로는 씽크빅 애널리틱스(ThinkBig Analytics, 800만 달러), MapR(700만 달러), 디지털 리즈닝(Digital Reasoning, 600만 달러) 등이 있다.
원래 EMC가 인수한 그린플럼은 애자일 소트트웨어 개발 방법론 전문 회사인 피보탈 랩스의 것이었다. 피보탈 인수로 EMC는 유명 웹서비스 업체들과도 인연을 맺게 되었는데 트위터, 베스트바이, 그루폰, 세일일즈포스닷컴, EMI 등 200개 가량의 기업이 피보탈 트래커를 사용하고 있었다.
이러한 EMC의 인수 목적으로는 “애플리케이션 없는 빅데이터 시장은 의미가 없다”라는 관점에서 해석이 가능하다. 지금까지 빅데이터를 분석하는 데 있어 데이터과학자, 기획자, 하둡 얘기가 계속 나왔지만, 실제로 데이터를 분석하는 사람들은 데이터베이스(DB)나 하둡에 대해서 제대로 알지 못한다.
현업 사용자가 쉽게 빅데이터 분석을 하려면 그들이 기존에 사용하고 있는 도구로 빅데이터 시장에 접근할 필요가 있으며 이것이 EMC가 피봇탈 랩 인수 목적의 일부일 것이다.

빅데이터 시대, 기업의 새로운 기회와 도전
눈앞에 다가온 빅데이터의 시대, 기업에겐 무엇이 기회이고 도전일까?
빅데이터를 바라보는 전문가들의 시각도 양분되고 있는 실정이다. 빅데이터를 21세기의 원유라고 추앙하기도 하지만 포춘 500대기업 85%가 빅데이터 활용에 실패할 것이라고 예상하고 있기도 하다.
빅데이터에서 다루는 주요 데이터의 분석 결과가 주는 이익도 명확하지 않으며 데이터 크기나 분석에 투입되는 리소스는 훨씬 더 많기 때문이다. 그럼에도 불구하고 기업이 빅데이터라는 영역을 포기할 수 없는 이유는 이 안에 무수한 도전과 기회가 잠재하고 있기 때문이다.
기업입장에서 빅데이터를 연구하는 목적은 두 가지일 것이다. 첫째는 신규 비즈니스 기회 창출이고, 둘째는 현재 진행 중인 비즈니스의 효율화 및 고도화를 위해서다. 계속되는 기업환경의 Challenge 속에서 기존 수익을 대체할 수 있는 새로운 비즈니스 기회를 발굴하는 것도 매우 중요하며 또한 B2C의 속성 상 시장에 대한 이해를 제고하여 경영활동에 반영하는 측면 모두가 빅데이터를 매우 중요하게 검토해야 할 이유다.
글로벌 150개 기업을 대상으로 조사한 Ovum그룹의 리서치 결과를 보더라도 상당히 많은 기업들이 기존 경영프로세스 효율성 제고를 위해 빅데이터를 고려하고 있음을 알 수 있다.
금융이나 통신영역은 이미 방대한 데이터를 기존에 처리하고 있지만 이미 내부관리를 위한 프로세스가 정리되어 운영 중이므로 빅데이터라고 말하지는 않는다. 오히려 외부에 존재하는 웹로그, 동영상, 텍스트, 이미지 정보 등이 향후 기존 정형데이터와 연계하여 관리대상이 될 빅데이터라고 할 수 있겠다.
빅데이터의 데이터 종류는 정형화 정도에 따라 다음과 같이 분류할 수 있는데 정형(Structured) 데이터는 고정된 필드에 저장된 데이터를 이야기하며 관계형 데이터베이스 및 스프레드시트 등을 기업에서 관리 중인 대부분의 데이터 포맷을 일컫는다
반정형(Semi-Structured)데이터는 고정된 필드에 저장되어 있지는 않지만, 메타데이터나 스키마 등을 포함하는 데이터로 XML이나 HTML 텍스트 등을 예로 들 수 있다.
비정형(Unstructured)데이터는 고정된 필드에 저장되어 있지 않은 데이터로 텍스트 분석이 가능한 텍스트 문서 및 이미지/동영상/음성 데이터 등을 예로들 수 있다. 요즘 기업 활동의 화두인 소셜 데이터 분석이 대표적 예이다.
2011년 10월 MS가 공개한 ‘Kinect Effect’(http://www.youtube.com/watch?v=  T_QLguHvACs)에 따르면, MS가 향후 키넥트(Kinect)라는 동작센서 기반의 새로운 디바이스를 가지고 어떻게 시장에 접근하려는 지 알 수 있는데 엑스박스(Xbox)와 키넥트를 활용하여 다양한 3th party가 참여한 플랫폼을 구축하고 B2C 및 B2B 분야의 응용 소프트웨어 영역으로 확장하려는 것이다. 이 분야는 의료, 통신, 교육, 엔터테인먼트 영역까지 매우 다양하다.
기존 고객 트래픽을 선점해왔던 야후, 아마존, 구글, MS와 같은 회사들은 각자의 기술을 개발, 오픈소스화 하는데 앞장서고 있다.

가능성 있는 기업의 데이터 접근
빅데이터의 시대를 맞는 기업은 데이터의 생산부터 활용까지의 one body적 접근법 필요하다.
빅데이터는 앞으로 엔터프라이즈 산업에 있어서 중요한 화두이다. 정형화된 데이터가 아닌 비정형화된 데이터들이 범람하는 시대에 어떻게든 원하는 형태로, 원하는 주제에 대해 분석결과를 도출할 것인가는 향후 트렌드를 예측하기 위한 중요한 밑거름이 될 것은 분명하기 때문이다.
SK텔레콤의 경우 2011년 B2B 신규사업으로 GIS기반 기업활동지원 플랫폼인 ‘GIOVISION’과  소셜데이터 분석 플랫폼인 ‘SmartInsight’를 런칭한 바 있다.
두 가지 사업 모두 내외부 데이터를 기반으로 한 사업이면서 플랫폼적인 성격을 지니고 B2B2C의 모델의 지향점을 가지는 것이 특징이다. 또한 데이터 마켓플레이스의 구축을 통해 내 외부 데이터의 매쉬업(mash-up)을 통한 새로운 가치를 전달 할 예정이다.
데이터를 통해 기업은 새로운 시장과 미래를 창출가능하며 이것이야말로 포화된 B2C 시장을 넘어서 신규 경쟁을 선도하는 기업들의 전략적 지향점이 될 것이다.
빅데이터 시대에 기업이 처한 환경은 많은 변화가 예상된다. 그리고 그 변화는 매우 빠르게 진행될 것이다. 빅데이터 시대, 지금 이 글을 읽고 있는 기업의 담당자인 당신이 어떻게 데이터를 바라보는가에 따라 미래 경쟁력이 좌우될 것이다.

김정선 SK텔레콤 기업사업부문 성장솔루션사업팀 매니져 성균관대 아시아글로벌 MBA, 이화여대 디지털미디어학부 박사과정 수료했으며 SKT CRM본부, Commerce본부, IPE사업단, 기업사업부분 ICT사업팀 근무에 근무했다. 현재 성장솔루션사업팀에서 빅데이터관련 사업기획 및 소셜분석 솔루션 스마트인사이트 PM을 담당하고 있다.