빅데이터 전문가 기획∣ 비즈니스 가치를 찾아라

즐겨찾기추가

2024.05.17 (금)

기상청 제공

해당된 기사를 공유합니다
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사

NEWS

빅데이터 전문가 기획∣ 비즈니스 가치를 찾아라

데이터양 고집할 것 아니라, 실제 운영방법 고민해야

방창완 편집국장 기자
등록 2015.07.30 11:16
조회수 6,472

빅데이터 전문가 기획∣ 비즈니스 가치를 찾아라

빅데이터, 분석과 통찰력에 초점 맞춰라

데이터양 고집할 것 아니라, 실제 운영방법 고민해야

빅데이터에 대한 분위기가 사그라진 느낌이다. 몇 년 전부터 업계에서는 대량의 데이터를 이용한 분석이 비즈니스 통찰력을 확보하는데 많은 도움이 될 수 있을 것으로 생각했다. 업계에 나와 있는 다양한 해외사례는 기간계 데이터와 정보계 데이터, 더 나아가 비정형 데이터를 활용한 데이터 수집과 분석을 통해 실제 비즈니스에 운영하고 있다. 하지만, 국내에서는 ‘데이터 수집’에만 초점이 맞춰져 있고, 활용에 있어서는 많은 어려움을 겪고 있다.‘자사에 필요한 데이터에 대한 고민’과 실제 어떤 분야에 이것을 적용해서 활용할지에 대해 전문가들의 의견을 들었다.

방창완 편집국장 bang@ciociso.com

전문가들은 데이터 수집도 중요하지만, 그릇(데이터 수집과 저장)에만 초점을 맞출 것이 아니라 실제 활용을 위한 분석과 통찰력에 초점을 맞출 것을 주문하고 있다.


▲ 자료: CIOCISO매거진 <데이터분석을 위한 분석툴>

빅데이터를 대량의 데이터라는 관점에서 볼 것이 아니라, 실제 비즈니스에 응용할 수 있는 통찰력을 키우라는 주문이다. ‘통찰력’을 확보할 수 있다면, 꼭 대량의 데이터가 아니더라도 내부 데이터를 통해서도 충분히 ‘비즈니스 가치’를 창출할 수 있다는 지적이다.

인포매티카의 아태&일본지역 마스터데이터솔루션 스페셜리스트팀 김대준 전무는 “빅데이터는 ‘토털 고객과의 관계’ 관점에서 볼 필요가 있다”며 “일관된 고객경험과 채널 연관성이 비즈니스 기회를 창출하는데 많은 도움을 주고 있다”고 강조했다. 그는 “토털 고객의 라이프타임 가치를 획득하고, 이를 관리할 수 있다면 그동안 숨어있던 비즈니스 기회를 창출할 수 있다”고 설명했다.

일관된 고객경험이 비즈니스 통찰력을 준다

하지만 이런 통찰력을 얻기 위해서는 전사 데이터에 대한 표준화, 데이터 기준정보 관리가 필요하다는 지적이다. 올 초에 발표된 가트너리포트에 따르면 2016년에 들어서면 기업들이 고객경험 분야에서 다양한 투자를 집행할 것으로 예측하고 있다. 이런 고객경험이 실제 비즈니스와 직결되기 때문이다.

김대준 전무는 “국내 기업들은 채널별로 고객에 대한 경험이 다르다. 채널이 통합되어 있지 않기 때문에 같은 고객이라고 하더라도, 등급이 제각각이어서 일관된 고객경험에 의해 혜택을 주기 어렵다”고 지적했다.

보통 기업들이 고객을 분류하는 방법은 2가지로 구분된다. 첫 번째는 70% 고객들이 거의 관심이 없는 고객으로 가격에 따라 움직이는 고객들이다. 기업에 대한 충성도가 떨어질 뿐만 아니라 마케팅과 세일즈를 하더라도 별다른 효과가 없다.

두 번째는 20%에 상응하는 우수고객이다. 제품과 서비스를 경험한 상태에서 경쟁사에서 획기적인 제안을 하지 않는 이상 바뀔 염려가 없다는 것이다. 이 고객들을 잘만 관리한다면 10%의 우수고객으로 끌어 올 수 있다는 것이다. 또한 이런 우수 고객들은 좋은 경험을 하게 된다면 인터넷에 칭찬을 아끼지 않는다는 것이다.


▲ 인포매티카 아태&일본지역 마스터데이터솔루션 스페셜리스트팀 김대준 전무

상위 10~20% 고객에 대해서만 타깃팅을 통해 마케팅을 진행한다면 충분히 효과를 거둘 수 있다는 지적이다. 미국의 웰스파고 은행의 경우, 경쟁이 심해지면서 새로운 비즈니스 밸류를 얻기 위해 자사의 고객을 분석한 바 있다. 고객을 일반가정 고객과 개인사업 고객 등으로 분류한 뒤 고객별로 자사의 상품을 몇 개나 구매하는지 파악했다. 그 결과 재미있는 결론을 얻었다.

1년에 한번 구매한 고객의 경우, 한화로 17만원에서 20만원의 수익이 발생하지만, 9개 상품을 거래하게 되면 수익에서 5배까지 차이가 난다는 것이다. 8개 상품을 보유하고 있는 고객은 10배의 차이가 난다는 것. 추가 상품판매를 유도하는데 드는 비용은 기존의 10% 밖에 소요되지 않았다. 이에 따라 고객에 대한 교차판매를 확대하고, 상품과 서비스에 대한 고객 경험을 반영해 새로운 혜택을 부여하는 작업을 취한 것이다.

기존 고객 잡는 노력이 투자대비 효과를 이룬다

보통 10~12개의 카드를 보유하고 있는 고객의 경쟁사 상품을 자사의 상품으로 끌어오기 위해서는 고객에 대한 토털 릴레이션십에 대한 이해가 중요하다는 지적이다. 메트라이프 보험사의 경우도 고객이 구매한 상품의 비중을 높여 시장 점유율을 높이는데 위와 같은 케이스를 적용한 경우다.

김대준 전무는 이런 고객과의 토털 관계가 이뤄지기 위해서는 기준정보를 활용한 싱글뷰의 관점을 가질 필요가 있다고 설명했다. 통신사의 경우도 보통 1년, 2년 단위의 약정을 시도하는데 약정이 끝나는 시점에서 고객을 케어 할 필요가 있다는 지적이다. 국내의 모 호텔은 현재 면세점을 운영하면서 전 세계적으로 흩어져 있는 면세점의 고객정보를 통합할 필요를 느꼈다.

통합된 고객 경험을 통해 혜택을 주기 위해서다. 기준정보가 마련돼지 않으면 다양한 채널로 접근해오는 고객의 일관된 정보를 파악할 수 없다. 고객을 알아야 고객 행동에 상응하는 포인트와 같은 혜택을 줄 수 있다는 것이다. 일례로, 고객 정보가 통합되지 않은 기업은 오프라인 상점에서는 우수고객이지만, 온라인 상점에서는 비 우수 고객일 가능성이 많다는 것이다.

DFS와 같이 해외 면세기업의 경우, 기준정보가 잘 관리가 되어있어 어느 나라에 가던지 자사의 지점과 온라인에서 똑같은 혜택을 부여하고 있다. 이에 따라 고객이 경쟁사로 이탈할 가능성을 줄이고 있는 것이다. 결국 자사가 보유하고 있는 정보만이라도 잘 관리한다면 효과적으로 매출을 늘릴 수 있다.

기준정보를 관리하면 관계 마케팅도 가능해 진다. 가족의 수와 관계망을 파악한다면 고객등급은 달라지며 새로운 서비스를 시도해 볼 수 있다. 국내 굴지의 전자회사의 경우 40개의 해외 생산법인을 보유하면서 MES 시스템을 가동하고 있다. 같은 데이터 이지만, 코드가 다르고 조회방법도 제각각이었다. 데이터가 중복되는 경우도 많았다. 이 전자회사는 운영 효율화를 목적으로 기준정보를 활용함으로써 운영의 묘를 꾀한 경우다.

이처럼 해외 기업과 국내 일부 기업들이 실제 인포매티카의 ‘마스터데이터관리(MDM)’ 솔루션을 통해 TCR(Total Customer Relationship)을 확보함으로써 실제적인 비즈니스 효율을 달성한 경우이다.

데이터 분석, 과금관리, 장애위험 대처한다

국내 통신 사업자를 대상으로 대량의 로그 데이터를 분석한 바 있는 모비젠은 올 하반기부터 기존 통신사외에 공공 및 금융시장으로 영역을 확대할 방침이다. 800억 건에 이르는 대량의 데이터를 수집 및 분석하면서 얻은 통찰력이 앞으로는 새로운 기회를 찾고자하는 기업에게 수요가 늘 것으로 전망하고 있다.


▲ 모비젠 김태수 전무

모비젠의 김태수 전무는 “통신사의 경우는 자체 개발을 통해 대량의 데이터를 분석할 수 있는 역량을 꾸준히 키워왔다. 이런 노력은 과금에 대한 부분과 상품 완결성을 더하기 위한 것이다. 기업들은 데이터를 통해 기회요소와 ROI를 찾아내고 있는 것이다. 이런 역량과 우리의 대량 데이터 분석처리 능력이 기업 비즈니스 강화에 많은 도움을 주고 있다”고 말했다.

모비젠은 SK텔레콤의 과금통계 시스템과 LG유플러스의 품질관리시스템, 삼성화재의 투자분석과 내부보안을 위해 자사의 빅데이터 처리기술을 공급한 바 있다.

2008년에 빅데이터솔루션인 ‘아이리스’를 출시하면서 1일 천억 건의 데이터 처리가 가능한 페타바이트 단 위급 데이터 분석을 실행하고 있다. 대량의 데이터에 대한 분석이 아이리스의 강점이었다면, 이제는 고급 분석분야(BI)에 진출할 계획이다. 현재는 분석엔진이 개발된 상태로 일부 사이트에 적용하고 있다.

모비젠의 ADE 엔진은 사람의 행위를 기반으로 이를 학습이후 다른 패턴이 발생하면 이를 실시간으로 감지해낸다. 응용분야는 기존의 통신사에 전국적으로 흩어져 있는 기지국에서 뿜어내는 데이터의 임계치 관리를 비롯해 금융권의 장애관리 및 위험관리에 활용될 수 있을 것으로 보고 있다.

금융권에서는 현재 내부직원 범죄에 대한 역량이 부족한 상태다. 내부보안 탐지를 위해서는 사람행위에 대한 로그분석이 필요하다. 회사에서 나름대로 정한 보안규칙을 위배하거나 위배할 가능성을 찾아 이를 걸러낼 필요가 있다. 회사에서 아무리 FDS(사기 및 위험방지시스템)을 적용한다고 하더라도 1명의 직원이 10~20개 이상을 조회하거나 걸러내는 데는 한계가 있다. 100~200개의 조회건수를 매일 잡아내는 것은 빅데이터 처리기술로 가능할 수 있다.

조회에 있어서도 전국 단위에 걸쳐 조회가 이뤄져야 하며 장애관리 및 행위에 대한 분석이 이뤄져야 하는데 이는 빅데이터 기술로 가능한 일이다. 최근 모비젠은 해양수산부 재난망 구축사업을 위해 ‘빅데이터 프로젝트’를 제안하고 있다. 인근 연해에 섬처럼 떠있는 배들의 위치를 실시간으로 추적해서 위치정보를 파악한 뒤 이상 징후(조난)의 우려가 있을 때 이에 대한 조치를 취하는 방식이다.

과거에는 시스템적인 한계로 인해 아이디어를 창출할 수 없었던 사업이 이제는 현실화된 것이다. 예전에 보지 못했던 영역을 새롭게 인식하고 새로운 기회의 땅을 찾는 것이 빅데이터의 핵심가치라고 할 수 있다.

솔루션도 사이트 성격 따라 입맛 따라 고른다

대량의 데이터분석처리 기술을 국내 공급하고 있는 파스트림코리아의 조외현 지사장은 “시스템만 강조되고 있는 빅데이터 시장에서 이제는 새로운 기술접목을 통해 활용가치를 높일 필요가 있다”고 지적했다. 그는 하드웨어나 하둡이 포함된 맞춤형 임베디드 어플라이언스 제품이 빅데이터의 모든 것인 양 시장이 호도되고 있다며, 용도에 따라 적합한 솔루션을 선택하는 시장이 형성돼야한다고 말했다.


▲ 파스트림코리아 조외현 지사장

그는 “빅데이터 사이트가 무조건 하둡일 필요가 없다. 차도 용도에 따라 적합한 솔루션이 존재하는 것처럼 하둡만이 대안이 아니며, 기존의 OLTP 데이터를 무리하게 빅데이터 분석으로 끌어 쓸 필요도 없다. 그만큼 더 많은 투자를 필요로 할 뿐이다. 프로젝트 및 비즈니스 성격에 적합한 솔루션을 채용하면 될 것”이라고 말했다.

분석을 위해서는 분석 전용 솔루션이 필요하다. ‘빅데이터=하둡’이라는 공식이 일반화된 것처럼 보이지만, 하둡을 배우기 위해서는 그만큼의 노력과 시간 및 비용이 필요하다. 비용이 저렴하다는 장점은 있지만, 이런 근시안적인 사고가 나중에 더 큰 비용을 발생시킬 수도 있다는 지적이다.

조외현 대표는 빅데이터의 확장은 사물인터넷 분야에서 두각을 보일 것으로 예측하고 있다. 최근 기업들의 생산라인에는 센서들이 형성된다. 예전에는 필요성을 크게 느끼지 못했던 센서들이 이제는 육안으로 식별이 가능해지면서 기업 생산성을 위한 기초자료로 활용되고 있는 것. 공장에서 생성되는 센서는 제품의 다양한 정보로, 이를 활용해 제품의 문제점을 찾아내고 개선점을 파악할 수 있다.

실시간에서 예측적 분석으로 진화한다

사물인터넷 시대가 오면 분석은 실시간 개념으로 진화할 것으로 보인다. 조외현 대표는 “이제는 실시간 분석엔진이 필요한 시점”이라며 “실시간 스피드를 통해 기업은 새로운 비즈니스를 창출해 내고 기업 생산성에 많은 통찰력을 얻을 수 있다”고 말했다. 병원의 경우, 기존에는 업무와 처방에 대한 정보가 전부였고, 의사들을 위한 시스템은 전무한 상황이다.

의사 본인들의 처방 패턴을 분석하면 향후 정확한 진단과 예측이 가능할 뿐만 아니라 향후 업무에 있어서도 사전예측이 가능해진다. 건강보험의 ‘생애 주기별맞춤진단’도 더욱 세분화 될 수 있다. 현재는 나이를 기준으로 건강검진에 대한 기준을 설정하지만, 세분화된 대량의 정보는 개인별 유전적 요인과 병원이력을 검토해 좀 더 정밀한 진단을 할 수 있다.

조외현 대표는 “파스트림의 실시간 빅데이터 분석처리 기술은 용도 자체가 빠른 분석에 초점이 맞춰져 있어 100억 건에 이르는 데이터도 2~3초 만에 결과를 보여 줄 수 있을 정도로 최적화되어 있다”고 설명했다. 모 쇼핑몰사의 경우 내부적으로 고객 분석을 위해 테스트를 진행했지만 300GB 데이터를 테스트하면서 성능이 불규칙해 예측을 할 수 없었다. 파스트림을 통해 1TB의 데이터도 동시유저 30명 수준에서 1초미만의 결과 값을 보여줄 만큼 빠른 분석분야에 최적화된 제품이다.

이 쇼핑몰 회사는 실시간 상품추천 서비스 도입을 위해 현재 테스트를 진행 중이다. 데이터 분석 구조가 기존에는 OLTP에서 DW로 추출하고, 이를 다시 변환(ETL)시켜 업무를 위해 데이터마트로 뽑아내는 복잡한 과정을 거쳤지만, 이제는 새로운 전용 플랫폼을 통해 시스템 구성을 단순화할 필요가 있다는 것이다. 파스트림의 실시간 빠른 분석의 핵심은 고성능 압축인덱싱(HPCI) 기술이다. 압축된 상태에서도 분석이 가능하기 때문에 그만큼 가볍고 처리속도가 빠르다.

BI, 손쉬운 통계지표와 비주얼라이제이션 강화

데이터 적제와 처리속도의 우위도 중요하지만, 이를 효과적으로 분석해 낼 수 있는 BI(비즈니스인텔리전스) 영역에서의 변화도 데이터 분석역량과 활용도를 강화시켜주고 있다.


▲ 비아이매트릭스 배영근 대표이사

비아이매트릭스의 배영균 대표는 “통신사에서 40대들의 스마트폰 이용 현황을 파악하려고 할 때 1년 치 데이터도 상당히 크다. 그런 만큼 빠른 분석에 대한 시장의 요구는 분명히 있다. FDS의 경우라면 연령대별로 성향을 분석해야하는데 이런 패턴들을 찾아내는 데는 인공 지능적 수집방법과 빠른 분석처리 능력이 요구된다”고 말했다.

현재 비아이메트릭스는 수억 건에 이르는 데이터 분석을 자사 엔진으로 처리하고 있으며, 수억 건에서 수십억 건에 대한 데이터 분석을 실행하고 있다. 대한항공과 하둡기업인 맵알과 연계해 프로젝트를 진행하고 있으며, 포스코의 경우, 천만 건에 이르는 데이터 분석을 위해 MOLAP(다차원분석처리)을 데이터 큐브에 마련했다. 이에 따라 5초 만에 분석이 이뤄지고 있다.

배영균 대표는 분석에 대한 요구는 있다고 강조했다. 최근에는 대용량 데이터에 대한 빠른 처리 외에도 예측 적으로 위험징후를 분석하는 추세로 발전해나가고 있다는 것이다. 예를 들어 제조사의 경우, 제조 과정은 다양한 센싱 데이터를 통해 움직이게 된다. 만약에 기기에 고장이 발생하면 순차적으로 이뤄지는 공정과정에 문제가 생길 수 있다.

또한 생산라인을 가동하다보면 불량주기가 발생하기 마련인데, 이를 데이터로 보관하고 분석해보면 일정 패턴을 발견하게 된다. 따라서 사전에 예측 적으로 위험시기를 파악하고 이를 예방하는 분석 능력이 앞으로 빅데이터에 많이 사용될 것으로 보고 있다. 통신사의 경우, 가입자 이탈방지를 위해 사전예방책으로 활용될 수 있다는 것. 고객들은 통신사를 바꿀 경우, 요금과 혜택을 알아보고 갈아타는 경우가 많다. 사전에 이는 예측되는 부분이어서 새로운 서비스나 가입유지를 권우할 수 있다.

빅데이터 시장에서 BI 분야도 많은 발전을 보이고 있다. 비아이매트릭스에서 제공하는 분석 소프트웨어인 G매트릭스는 과거에 사용자가 데이터 집계를 위해 일일이 표를 작성하고 해당 데이터를 끌어와야 하는 번거로움을 없앤 제품이다. 키워드를 치기만 하면 필요한 해당 양식대로 분석표가 생성되며 과거의 판매현황도 찾아내고 검색해 준다.

표 작성을 위해 전문적인 기술과 데이터 수집을 위한 번거로움 과정이 진행됐다면, 이제는 일반인도 쉽고 빠르게 분석할 수 있는 환경을 만들어 준다는 점에서 빅데이터 분석 시장을 견인해 나갈 것으로 보인다. 최근의 BI는 전사 DW를 분석해서 많은 곳에서 필요정보를 찾아낼 수 있는 빅데이터엔진이 탑재되어 있어 분석의 수고를 일정부분 덜어주고 있다.


▲ 다윈컨설팅 현승순 대표이사

다윈컨설팅의 BI 시각화 솔루션인 클릭뷰도 분석가의 요구를 상당부분 채워주고 있다. 현재 BI는 기존의 다차원분석(OLAP)에서 비즈니스디스커버리툴로 변모하고 있는 것. 다윈컨설팅의 현승순 대표는 “BI 시장은 시각화를 중요시하는 비주얼라이제이션이 강조되면서 사용이 용이하고 좀 더 쉽게 분석할 수 있는 환경으로 진화하고 있다”고 설명했다.

이런 차세대 BI 툴은 NT서버 환경에서 손쉽게 운영이 가능하며 가볍다는 특징이 있다. 손쉽게 경영정보를 분석할 수 있는 만큼 화면이 유려하고 다채로운 것도 강점이다. 인위적인 확장이 필요하지 않을 정도로 손쉽게 확장기능을 이용해서 다양하게 활용할 수 있는 것. 각종 차트와 도표 외에 통계마이닝 툴과 연동해서 사용할 수 있다. 보통 기업들은 오픈소스 마이닝을 이용해 통계마이닝 업무를 무료로 활용하고 있다.

차세대 BI툴인 ‘클릭뷰’를 국내 공급하고 있는 다윈 컨설팅은 메트라이프생명보험에 솔루션을 공급한 바 있다. 과거에 코그노스를 사용한 바 있지만 만족도가 높은 편이다. 보험에 대한 실적분석 등에 활용되고 있다. 카드사의 경우도 상담원이 여신업무를 진행할 때 만기 및 수금에 대한 업무를 KPI를 이용해 분석할 수 있다.

다윈컨설팅은 국내 모전자회사에 빅데이터 프로젝트를 진행하면서 메모리 영역만 1TB를 분석하면서 운영 및 확장가능성을 타진하고 있다. 실상 영업과 재무, 생산 및 MES, SCM, CRM, 세일즈, 마케팅 등 모든 영역에 있어서 분석 툴로 활용될 수 있다.

현 대표는 무엇보다도 빅데이터 환경에서 BI는 고객사 데이터에 대한 연관성을 분석하는데 효과적이라는 입장을 밝혔다. 그는 “데이터 연관분석이 자유롭게 이뤄져야 통찰력이 생길 수 있다. 따라서 통찰력은 BI 연관분석을 통해 확보할 수 있다”고 말했다.

최근 빅데이터 시장은 활용을 위한 사용성에 무게중심을 옮기고 있다. 하지만 여전히 비즈니스 기회를 찾는데 많은 기업들이 주저하고 있다. 하지만 업계에서는 데이터를 활용한 비즈니스 기회가 앞으로 시장에서 주류를 이룰 것으로 내다보고 있다. 빅데이터 전문가들은 기술적인 뒷받침이 어느 정도 구체화되면서 지금까지 파일럿 형태로 진행되고 있는 시범 서비스가 가시화되기 위해서는 조직차원에서 데이터 분석 전문가를 양성하고 사내외부적으로 데이터를 육성하며, 통합 및 분석할 수 있는 마케팅 역량이 강화돼야 한다고 지적하고 있다.

방창완 편집국장 기자의 전체기사 보기