현장 리포트/ Strata Hadoop World 2014 셋째날

즐겨찾기추가

2024.05.03 (금)

기상청 제공

해당된 기사를 공유합니다
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사

COLUMN

홈
COLUMN

현장 리포트/ Strata Hadoop World 2014 셋째날

빅데이터, 기업의 핵심 아이템으로 부상한다

장동인 테라데이타부사장 기자
등록 2014.10.21 12:05
조회수 1,390

현장 리포트

Strata Hadoop World 2014 셋째날

빅데이터, 기업의 핵심 아이템으로 부상한다

이번 컨퍼런스의 마지막 날이다. 오늘은 특히 빅데이터의 사회적인 책임을 강조하는 이야기들을 많이 했고 빅데이터의 다양하고 기발한 활용에 대해서 이야기를 했다. 그 현장을 직접 경험해 보도록 하자.

장동인 부사장, 한국 테라데이타


▲ 장동인 부사장 한국테라데이타

<미국 뉴욕 자비츠 컨퍼런스 센터> 클라우데라 CTO인 엘리 콜린스는 이렇게 이야기했다. “현재는 빅데이터를 상업적인 용도로 많이 사용하고 있다. 그러나, 빅데이터를 공공의 선을 위해서 활용하는 노력이 시작되고 있다. 인텔에서는 파킨스병을 치료하는데 빅데이터를 사용하고 있으며, 각종 병 치료 분야에서 빅데이터는 사용되고 있다.

기후변화를 예측, 교육 수요 분야에서도 사용되고 있다. 이렇게 하기 위해서는 대단히 많은 데이터가 필요하다. 전 세계의 에너지 소비와 실제 상품을 만들기 위해서 공급망상에 있는 모든 데이터를 수집하면 기후변화를 예측할 수 있다. 전 세계의 모든 학생들의 학습 데이터를 수집하고 모든 선생들의 데이터를 수집하면 어디에 어떤 학생을 어떻게 지도하는지 예측할 수 있다.

그러나, 이런 시도는 실패했다. 이렇게 되면 교사들의 수급을 예측할 수 있으며, 교사들의 봉급도 삭감할 수 있고, 학생들의 사생활을 침해할 수 있는 소지도 있다. 빅데이터를 활용하면 좋아지는 것이 많지만 그럴수록 빅데이터의 프라버시 문제도 많다. 그렇다면 어떻게 해야 할 것인가?

빅데이터 활용 위해서는 투명성 보장돼야

빅데이터를 수집하고 활용하는데 투명성(transparency)을 보장해야 한다. 개인의 정보가 어떻게 수집이 되고 어떻게 활용이 되고 있는지를 명확하게 공개해야 한다. 그리고 빅데이터를 잘못 활용하는 케이스들을 나열해서 오용하는 사례들을 적발해야 한다.”

이와 더불어 흥미로웠던 키노트는 “히든 브레인”의 저자 샹카 베단탐의 이야기였다. “이란의 사담 후세인이 화학무기를 가지고 있다는 것을 미국인들이 왜 그렇게 철저히 믿었는가? 미국인들은 이란과의 전쟁에서 승리한 후 화학무기를 찾았지만 발견되지 않자, 후세인이 화학무기를 다른 곳에 숨겨놓았을 것이라고 생각했다.

미국의회에서 미국에 발견된 에볼라 바이러스에 대한 책임을 이야기하면서 민주당은 공화당이 예산을 삭감했기 때문이라고 했고, 공화당은 국경에 대한 소홀한 대책으로 불법 이민자들이 많이 생기게 돼서 그렇게 되었다고 했다. 인간의 뇌는 빅데이터를 수집하고 판단하는 좋은 사례이다.

그런데, 우리 뇌는 이미 믿고 있는 것을 확증하는 데이터만 수집한다는 것이며 우리가 믿지 않고 있는 것은 전적으로 무시한다. 빅데이터는 매우 중요하기는 하지만 인간의 편향된 신념에 의해서 빅데이터 자체도 잘못 수집될 수 있고 그 결과가 보편타당한 것이라고 생각할 수 없는 경우도 생긴다.”

좋은 지적이라고 생각한다. 이는 빅데이터 뿐만 아니라 통계분석을 할 때, 데이터 수집의 오류, 데이터 분석의 오류, 분석결과에 대한 판단의 오류들은 이미 존재해 온 것이지만, 빅데이터도 예외가 아니며 오히려 빅데이터를 분석해서 나온 결과이기 때문에 더 틀릴 수 있다고 한 것이다.

사실 우리 주변에서도 선거나 정치적 현안에 대한 빅데이터 분석결과가 사실과 매우 다른 것을 본다. 이것은 상카 벤담이 이야기한 대로 특정 집단의 이해를 반영하면서 빅데이터를 수집하고 분석하면 결과는 완전히 다를 수 있다는 것을 이야기 해 준다.

새로운 시도, 감정분석

MIT 미디어랩 출신인 라나 엘 칼리우비가 창업한 어펙티바에서는 감정 데이터를 분석해서 세상을 놀라게 하고 있다. 이 감정 데이터라는 것은 200만개의 얼굴, 15000개의 미디어에서 나온 80여개 나라의 7조(billion)개의 감정 데이터를 분석해고, 300개의 브랜드에 대한 감정 표현들을 분석했다고 한다.

이 회사는 사람들의 동의를 얻어 데이터를 수집을 했다. 칼리우비 대표는 사람들의 감정 빅데이터를 분석하면 매우 정확하게 브랜드, 의견, 현안, 모습, 외관 등에 대한 생각을 90% 이상 맞출 수 있다고 한다. 사람들이 광고를 보면서 느끼는 감정이나, 나라마다 문화적 차이로 인한 표정의 차이도 분석할 수 있다고 했다. 그래서 사람의 감정에 따른 상품 추천도 가능하다고 했다.

뿐만 아니라 사람의 감정을 개인적으로 분석해서 가장 최적으로 그 사람에게 적합한 메시지를 전달하는 것도 가능하다고 했다. 빅데이터는 특히 동영상, 얼굴 사진, 표정과 같은 비정형 데이터를 분석하는데서 많은 활용가치를 찾을 수 있다. 지금까지 해보지 않았던 분야이기 때문이다. 이 회사는 2009년에 창업되었는데 벌써 $21.9M의 투자를 받았다.

앞으로 어떤 제품과 솔루션이 나올지 매우 궁금해지는 회사이다. 그 외에도 마이크로소프트는 세계적으로 데이터사이언티스들이 부족하지만 많은 수요가 있어서 이들이 쉽게 알고리즘을 개발하고 이를 판매할 수 있는 클라우드 기반의 AaaS(Analytics as a Serice)를 런칭한다고 발표를 했다.

세계는 거의 온라인에서 모든 것을 사고 팔 수 있는데, 이 온라인에서 상품을 추천한다든가 사기를 적발하는 알고리즘을 쉽게 개발하고 이것을 쉽게 자신의 온라인 커머스에 올려서 사용할 수 있도록 하는 ‘Cloud Machine Learning서비스’를 기존의 Azure에서 시작한다고 한다. 비정형 빅데이터를 분석해서 패션 트렌드를 예측해주는 트랜달리틱스의 캐런 문 대표의 키노트도 인상적이었다.

일반 세션에서도 SNS의 대표 주자 링크드인, 온라인 영화 서비스업체인 넷플릭스, 건강 보험회사인 카이저퍼포만테 등의 사례가 발표됐다. 셋째날은 둘째날 보다는 내용이 매우 충실했고, 현재 빅데이터에 대한 발전을 짐작하게 했다.

이번 Strata Hadoop World 2014를 요약해서 앞으로의 빅데이터 시장을 예측해보면 다음과 같다.

1. 지금까지는 하둡을 가지고 개별적인 회사에 맞게 알아서 커스토마이징을 해왔지만, 앞으로는 이와 반대로 각 회사에 맞는 솔루션들이 개발이 될 것이다. 그래서 일반 기업들은 이미 개발된 제품을 사서 사용하는 방향으로 가게 될 것이다.

2. 빅데이터 기술 분야는 하둡을 중심으로 발전해 나가는데, 하둡의 코어는 아파치 재단을 중심으로 개발이 되지만, 나머지 사용자 인터페이스라든가 분석기능 등은 각 회사마다 다른 방향으로 진전될 것이다. 이것은 두 가지를 의미한다. 하둡이 지금처럼 오픈소스를 일부 가지고 가겠지만, 결국은 회사마다 서로 다른 하둡을 개발하고 판매하게 될 것이다. 그리고 아파치 하둡을 근간으로 많은 솔루션들이 출현하게 되는데, 이것은 주로 비즈니스 사용자들을 위한 툴이 될 것이다.

3. 버클리 대학에서 개발된 스파크는 이제 하둡과 결합해서 다양한 비즈니스 사용자를 위한 툴로서 개발되기 위한 기본 엔진으로 장착이 될 것이다.

4. ‘SQL on Hadoop’ 분야는 계속 발전하게 될 것이다. 이것은 스파크와 선택 개념으로 갈 것 같지는 않다. ‘SQL on Hadoop’ 제품은 주로 기존의 데이터 웨어하우스와 결합해서 데이터 웨어하우스의 많은 작업들을 하둡으로 덜어주는데(offload) 활용이 될 것이다.

5. 하둡이 기업 사용자들을 위해서는 현재 관계형 데이터베이스가 가지고 있는 많은 보안 기능들, 즉 컬럼별 보안, 데이터의 비지빌리티(visibility), 데이터 추적, 액세스 로그, Audit 등이 대폭 보강될 것이다. 이것은 빅데이터 거버넌스라고 하는 영역의 솔루션 출현을 의미한다. 또한, 여러 개의 하둡 시스템을 데이터 센터에서 관제하는 소프트웨어가 나올 것이다.

6. 앞으로 기존의 IT부서의 정보계 분야에서 대대적인 혁신을 일어날 것이다. 기존의 데이터 웨어하우스를 운영하고 업그레이드를 하려는 입장에서, 빅데이터 기술을 도입하는 트렌드가 생길 것이며 미국은 이미 이를 광범위하게 실행 중이다.

7. 빅데이터와 사물인터넷을 결합하려는 시도는 곳곳에 보인다. 그러나, 이것은 서서히 실행될 것 같다. 이미 필요한 곳은 도입이 되었기 때문이다. 이미 센서기반의 도로, 자동차, 기후 측정, 공장, 과학연구소 등은 이미 빅데이터를 도입 시행 중이거나 도입 예정이고, 신규로 만들어지는 비콘 기반의 사물인터넷이나 다른 어플리케이션은 앞으로 서서히 만들어질 것이다.

8. 빅데이터가 광범위하게 사용될수록 빅데이터의 프라버시 문제는 계속 제기될 것이다. 가장 중요한 것은 빅데이터의 수집, 보유, 활용에 대한 모든 과정이 투명하게 처리되는 것이다. 이것은 정부, 빅데이터의 수요자, 솔루션제공자, 국민들이 자발적으로 적극적으로 이에 대한 규칙을 제정하고 이를 준수해야 한다. 그러나, 현실적으로는 이렇게 많은 이해 당사자가 있는 상황치고 문제가 바로 해결되지는 못할 것이다. 빅데이터 프라이버시 문제는 빅데이터 활용이 계속되는 한 사라지지 않고 계속 제기될 것이다.

이번 Strata Hadoop World 2014는 한마디로 “빅데이터가 기업 IT의 주류로 부상할 수 있는가?”에 대한 명확한 해답을 주지는 않았지만, 그렇게 되려고 하는 노력과 가능성을 확인했다는 점에서 큰 소득이라고 할 수 있다. 아파치 하둡에서 시작한 오픈 소스가 앞으로 근본적으로 변화할 수도 있다는 생각을 하게 하는 3일간의 컨퍼런스였다.

장동인 테라데이타부사장 기자의 전체기사 보기