제 33차 CIO 컨퍼런스

즐겨찾기추가

2024.06.03 (월)

기상청 제공

제 33차 CIO 컨퍼런스

해당된 기사를 공유합니다
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사

EVENT/EDU

제 33차 CIO 컨퍼런스

빅데이터 성공은 결국 현장의 직관력

방창완 편집국장 기자
등록 2015.09.21 17:05
조회수 1,296

제 33차 CIO 컨퍼런스

빅데이터 성공은 결국 현장의 직관력

CIOCISO매거진에서 정기적으로 주최하는 CIO 빅데이터 컨퍼런스에서 각 산업에 적용할 수 있는 신규 트렌드와 활용사례 및 미래의 성장 로드맵에 대한 내용이 소개됐다. 이번 컨퍼런스에서는 SK텔레콤 장애분석 사례, 빅데이터 시각화를 위한 BI, 기준정보 관리, 실시간 데이터 분석처리, 엔터프라이즈와 로컬 BI 플랫폼, 빅데이터 스토리지 등이 발표되면서 향후 시장 흐름을 진단해 볼 수 있는 뜻 깊은 자리가 됐다.

방창완 편집국장 bang@ciociso.com

빅데이터 장애분석, 직관력을 활용하라

모비젠 김형근 연구소장


▲ 김형근 연구소장 모비젠

모비젠은 기업에 빅데이터 컨설팅을 하는데 있어서 장애 및 품질분석과 이상패턴에 대한 원인분석, 변수를 예측하는 것 등 3가지 축으로 장애 과제를 해결하고 있다. 분석을 하는 이유는 기존 운영시스템에서 해답을 찾지 못하는 것을 찾기 위해서다. 보통 LTE망은 모든 로드가 연결되어 있기 때문에 하나의 장비에서 이상이 생기면 연이어 장애가 발생한다.

따라서 임계치를 설정해 장애를 파악하지만, 일일이 설정을 하면 망 상황에 따라 설정을 변경해야하기 때문에 이를 자동화하고 지능화해야 한다. 분석에 있어서도 범위를 줄이고, 상관 변수를 파악해 원인 변수를 찾는 것이 중요하다.

과거에는 내부 시스템만 보는 경향이 많았다. 장애나 품질 및 지표관리를 위해 운영시스템을 분석하는 경우가 많았다. 이동 통신사의 경우, 현재 내부 데이터외에 외부에 의해 영향을 받는 경우가 많다.

특정 스마트폰 사용자의 앱이 내부망을 다운 시킬 수 있으며, 바로 사고로 이어진다. 이런 외부 장애에 대한 대처가 빅데이터의 필요 요건이 된다. 금융산업도 보안관제 외에 외부의 개인고객 및 협력사에 대한 보안이 강화돼야 한다. 결국 내부와 외부, 그리고 정형 및 비정형 데이터에 대한 통합 분석이 요구된다.

SK텔레콤은 망품질 분석을 위해 800대 서버를 클러스터로 엮고 하루 수백 테라바이트의 데이터를 수집하고 있다. 대량의 데이터를 수집하면 저장이 어렵지만 이를 실시간으로 패턴과 로그를 분석해야 한다. 사용자 영역과 장비, 기지국 데이터를 엮어서 이를 마케팅에 활용하고 있다.

모비젠에서 컨설팅한 SK텔레콤의 사례를 살펴보면, 데이터 분석을 위해선 참조 데이터가 중요한데, 수집을 위해서는 기초 데이터가 잘 구성돼야 한다. 보통 이동통신사 기지국에서는 10초 단위로 200개의 데이터를 생성한다. 이를 그룹핑 해서 유사변수를 모으고, 상관관계를 추출한다.

모비젠에서는 이런 상관관계에서 가치있는 데이터를 선택하고, 시스템을 운영한다. 몇 개의 영역만 이상 징후를 탐지한다. 룰을 정의하는데 있어서 상한과 하한을 정하는데 과거 데이터에 비해 얼마나 이상이 있는지를 상관도로 파악한다. 이처럼 처음에는 컨설팅을 통해 데이터 특성을 분석하고 이후에 자동화를 결정하게 된다.

SK텔레콤은 3~6개월의 컨설팅 과정 이후 자동화에 들어갔다. 최종 자동화는 모비젠의 분석가와 SK텔레콤 현업 운영자의 협의를 통해 이뤄졌다. 종합을 해보면 장애가 발생하면 원인변수를 찾고, 코어망과 엑세스망에 대한 상관도를 추출해 원인을 파악한다. 이후에 자동화가 이뤄지는데, 무엇보다 상관도 분석을 통한 원인을 찾는데 있어서는 현업의 직관이 매우 중요하다.

서울지역 1분기 매출을 알고 싶습니까?, 자동으로 리포트 생성한다

비아이매트릭스 배영근 대표이사


▲ 배영근 대표이사 비아이매트릭스

비아이매트릭스 솔루션의 특징은 개발자가 별도로 프로그램을 개발할 필요 없이 필요한 항목들을 자동으로 생성해 주며, 필요한 요소를 입력하면 바로 분석화면이 제공된다는 것이다. 그만큼 사용자 편의성을 최대한 반영했다.

BI(비즈니스인텔리전스)는 과거에 통계분석시스템으로 출발해 예측과 다차원분석이 가미되면서 진화해 왔다. 3년전에 빅데이터와 접목되면서, 분석 기술이 더욱 향상됐다. BI의 목적은 산재되어 있는 데이터를 수집해 체계적이고, 일목요연하게 정리해 사용자에게 필요한 정보를 제공하는 것이다.

BI의 외부 환경은 모바일, 클라우드, 빅데이터를 통해 ‘스마트 BI’로 진화했다. 과거에는 MOLAP(다차원 분석), ROLAP 등 정형화된 툴이 많았지만, 이젠 하나의 화면에서 모든 것을 보여준다.

전통적인 BI는 보고서 용도로 리포팅 환경을 제공하는 것이었다. 이젠 판매계획과 신상품개발, 매출손익분석, 재무전략 등 다양한 가치를 제공한다. 이런 분석을 위해서는 기존 내부데이터 외에 소셜 등 다양한 데이터가 필요하다. 데이터 형식도 정형외에 비정형 데이터를 수용해야 한다.

BI를 활용한 기업을 살펴보면, SPC社 파리바게트의 경우, 날씨와 기후변화에 따라 판매되는 빵의 종류가 다르다는 점을 분석해 제고를 현저하게 줄였다. 아비바생명보험의 경우, 데이터를 활용해 합리적인 보험료를 산출하고 있다. 美 정부에서는 탈세방지를 위한 시스템 구축을 통해 국자 재정을 강화하고 있다. 모든 산업에 적용되는 BI 활용가치는 미래를 예측하고 최적화를 이루는 것이다.

비아이매트릭스는 과거 10년간 BI 분야에 집중하면서, 2012년도에 신소프트웨어 대통령상을 수상한바 있으며 해외 10여개국에 소프트웨어를 공급했다. BI 데이터처리 엔진을 개발해 빅데이터를 시각화하는데 많은 도움을 주고 있다. ‘아이 스트림’은 고급분석을 위해 활용된다.

비즈니스 가치창출 위한 기준정보 관리방안

한국인포매티카 유승준 본부장


▲ 유승준 본부장 한국인포매티카

한국인포매티카는 기준정보 관리를 통해 기업이 고객의 경험을 공유함에 따라 새로운 비즈니스 창출을 가능하게 해준다. 소셜미디어 등장으로, 공유 경영으로 확대되고 있다. 이제는 기업이 고객의 경험을 알아야 한다. 모바일과 소셜 등 불특정 다수로 들어오는 데이터가 고객이 기업에게 주는 전달 메시지이다.

이런 비정형화된 데이터는 지속적으로 쌓인다. 한시간에 240여개의 비즈니스 주소가 변경되고, 한시간에 20개 회사가 문을 닫거나 12개의 비즈니스가 생성된다. 하지만 이런 변화와 함께 고객과 소통하기 위해서는 데이터가 중요한데, 중복된 데이터가 고객과의 관계를 어렵게 한다. 회사와 고객은 상품으로 연결되며, 고객의 경험을 알고, 고객에게 동일한 기업 서비스를 제공하기 위해서는 데이터 중복을 제거한 ‘기준정보관리’가 필요하다.

또한 고객에게 동일한 경험을 주게 되면 많은 이익을 볼 수 있다. 보통 고객이 상품 구매이후 피드백을 남기게 되고, 좋은 과거 경험으로 재구매가 이뤄진다. 따라서 기존 고객에게 더 많이 파는 것이 중요하다. 이를 위해서는 좋은 경험을 주고 관계를 강화해야 한다.

한 개의 상품을 구매한 고객이 경쟁사에 넘어가는 확률은 50%이지만, 3개의 상품을 구매한 고객이라면 거의 경쟁사에 넘어가는 경우가 없다. 똑같은 경험과 만족을 주기위해서는 고객과의 관계를 강화해야 하는데, 이를 위해서는 정보관리가 필요하다.

따라서 고객 파악과 구매 선호도, 구매에 영향을 끼친 원인, 판매직원등 관계망에 대한 싱글뷰가 필요하다. 코스트코의 경우, 기준정보관리를 통해 고객의 구매 패턴과 매장, 판매사원등에 대한 연관관계를 분석해 재구매를 유도하고 있다. 메트라이프생명의 경우, 2억건의 고객 데이터에 대해 중복제거를 통해 실제 5천만건으로 줄였다. 따라서 빠르고 정확하게 고객과 커뮤니티를 하고 있다.

이런 기준정보 관리는 하나의 관계 지도를 통해 표현할 수도 있다. 고객의 가족 관계도를 파악해 연계 판매를 할 수 있다. 이런 TCR(토탈 커스터머 릴레이션) 관점에서 고객을 바라봐야 기업 경쟁력을 높일 수 있다.

빠른 분석처리, 기업 생산 가치를 높인다

파스트림코리아 조외현 대표이사


▲ 조외현 대표이사 파스트림코리아

파스트림은 MPP(병렬처리)아키텍처와 HPCI(인덱싱 압축) 기술을 통해 실시간 데이터 분석과 빠른 처리가 필요한 고객의 요구에 적극 대응하고 있다. 빅데이터는 사물인터넷이 부각되면서 활용이 높아지고 있다.

현재 글로벌 기업들은 사물인터넷의 가치를 분석하는데 주력하고 있다. 머신러닝의 경우, 스팸메일을 필터링하면서 운영 효율화를 꾀하고 있다. 보험사의 경우, 상품추천을 통해 사기방지에 빅데이터를 활용하고 있다.

최근에는 마케팅과 사물인터넷이 연계되는 추세다. 기업에서 제품 판매이후 제품과 소통하고 있다. 고객의 소비패턴을 추적하고, 생활습관을 파악한다. AS센터에서는 유지보수를 위해 고객과 제품에 대한 커뮤니케이션을 하고 있다. 하버드 비즈니스 리뷰에서는 새로운 분석 기법으로 ‘분석3.0’이라는 개념을 내놓았다. 분석 3.0은 기존 분석에 스피드를 더한 개념이다.

적기에 분석이 이뤄지면서, 그만큼 기업의 경쟁력을 강화하는 것이다. GE社는 기관차의 엔진과 가스터빈 AS 업무에 대해 사물인터넷을 활용하고 있다. 매킨지보고서에서는 사물인터넷과 연계된 기업 경영은 10년 뒤 40%의 수익을 창출할 것으로 보고 있다.

하지만 현재 기업들은 머신데이터에 대한 활용을 못하고 있다. 40%의 수집이 이뤄지지만, 데이터를 저장해본 경험이 거의 없다. 지역별, 공장별로 흩어진 데이터를 모아서 실시간으로 분석하는 사례가 거의 없다. 새로운 비즈니스 기회를 창출하기 위해서는 실시간 데이터 분석 통해 이뤄져야 한다.

중국 신재생 에너지 기업인 인비전에너지의 경우, 풍력발전기를 운영하면서 파스트림의 실시간 데이터분석 처리기법을 사용했다. 풍력발전기는 날개 각도가 조금 잘못되어도 에너지 생산에 차질이 생긴다. 기상조건에 따라 날개 각도를 조정해야 하는데, 이를 사물인터넷과 빅데이터 처리기술로 극복했다. 150개의 양방향 고급센서는 문제를 받아주고, 스스로 보정 해준다. 적정 온도와 쿨링 작업도 진행된다.

지멘스는 가스터빈에서 5000개의 센서를 보유하고 있다. 시간당 18억건의 데이터가 발생되며, 압력, 온도 등 초당 75만건의 데이터 생성된다. 이를 자체 머신러닝을 활용해 이상 징후를 감시하고, 감지시 바로 보정작업에 들어간다. 분석을 위해서는 과거 데이터가 중요하다. 10년치의 데이터를 기준으로 상관관계를 분석해 이상 징후를 파악해 낸다.

그만큼 분석의 가치는 중요하다. 현재 사물인터넷을 통한 분석은 연 평균 50%의 성장을 예측하고 있다. 기업이 사물 인터넷과 연계된 빅데이터 처리기술을 활용하기 위해서는 데이터 발생시점에서 즉각적인 조회가 이뤄져야 효과를 볼 수 있다.

통합 분석, 빅데이터 시각화 편리성 높였다

마이크로스트레티지코리아 정경후 차장


▲ 정경후 차장 마이크로스트레티지코리아

마이크로스트레티지코리아는 빅데이터 엔진을 통해 속도와 데이터 접근의 어려움을 해결하고, 다양한 분석이 가능하도록 해준다. 기업 내부에서 BI를 사용하는데 있어서 걸림돌은 현업 부서에서는 빠르게 원하는 정보를 보길 원하지만, 이를 관리하는 IT 부서는 여러 과정을 거쳐 분석하고, 정리해야한다는 점에서 서로 간에 갈등을 겪고 있다.

현업에서는 속도와 민첩성이 요구되는 반면, IT 부서는 거버넌스 관점에서 전사수준의 체계화된 플랫폼이 요구된다.

이런 두 가지 관점을 모두 해결하고자하는 것이 BI 솔루션‘MSTR 10’사상이다. MSTR 10은 기존의 엔터프라이즈 BI툴 환경에 데스크톱 디스커버리 툴을 붙인 개념이다. 데스크톱에 저장된 내용은 다른 사용자와 공유되며 정보를 공유할 수 있다. 구간선택 및 상세분석 등을 자유자재로 실행하는데 손쉽게 적용할 수 있는 사용자 편의성을 제공하고 있다.

보통 기업에서 BI를 진행하려면 데이터를 어떻게 가져올 것인지, 메타데이터에 대한 고민이 필요하다. 분석을 하기 위해서는 목적에 필요한 데이터를 준비해야 한다. 사실 BI 솔루션 담당자는 분석을 위한 총 과정에서 원천 데이터를 준비하는데 70%의 시간을 소요하고 있다.

최근에는 하둡, 스파크, 카산드라 등 데이터 접근 소스도 늘어났다. 하둡의 경우, 데이터를 입력하기에는 쉬워도 이를 꺼내서 활용하기는 힘들다. 속도에 문제가 생길 수 있다.

마이크로스트레티지는 이런 어려움을 해결해 준다. 바로 지표를 생성하는 등 통합 분석이 가능하다. 기존 셋에서 지표를 추가할 경우, 마우스 클릭만으로 구현할 수 있다.

기업에서 빅데이터로 분석을 시도할 때 다양한 플랫폼에 접근하기 위해서는 고급 설계자와 비용에 대한 고민이 생긴다. MSTR 10은 데이터 접근력을 높이고, 엔터프라이즈 애플리케이션 연계성을 확보함으로써 손쉬운 분석을 가능하도록 해준다. 엔터프라이즈 분석 플랫폼과 함께 셀프 서비스 시각화 기능을 통합적으로 제공함으로써 현업과 IT 부서의 요구를 모두 만족시켜주고 있다.

빅데이터에 최적화된 올 플래시와 하이브리드 시스템

웨이브텍코리아 안진용 이사


▲ 안진용 이사 웨이브텍코리아

웨이브텍에서 공급하는 테자일의 플래시스토리지는 현재 1,000개의 기업에서 사용하고 있으며 2,000개의 시스템에서 적용되고 있다. 파워서플라이와 함께 캐시 이중화, SAN과 NAS를 동시에 지원하는 유연성을 확보하고 있다. 또한 윈도우, 리눅스, 유닉스 등 다양한 OS를 지원하며, 하나의 박스에서 운영이 가능하다.

온라인트랜젝션도 빠른 처리가 가능하며, 비즈니스 프로세스와 분석 및 아카이브에 효율적으로 적용되고 있다. 또한 하이브리드와 SSD를 선택해서 적용할 수 있다. 이런 다양한 기능의 핵심은 ‘플래시 센트릭 아키텍처’를 통해 플래시 기반의 최적의 설계를 지원해 준다.

소프트웨어에 있어서도 캐싱 및 실시간 압축, 중복제거, 씬프로비저닝, 고가용성에 대한 지원을 해주며 라이선스 추가 없이 무료로 사용이 할 수 있다.

테자일의 압축 기능은 실시간 압축과 중복제거를 통해 사용량을 90% 까지 늘릴 수 있다. 최적화된 설치로 향상된 성능을 유지시켜 준다. 스냅샷의 경우, 시스템에 대한 부하가 없으며 저장 공간이 감소하는 현상도 없앴다. DR 구성시에도 내부 소프트웨어로 처리가 가능하다.

보통 21TB(테라바이트)의 데이터를 압축하면 10TB가 나오며, 중복제거를 실행할 때 4TB까지 줄일 수 있다. 통합 관제서비스의 경우, 원격에서 문제가 발생하면 경고음이 보내지며 관제를 받게 된다. 오라클과 VM웨어, 시스코등 애플리케이션에 대한 인증도 완료됐다.

제품은 T3100에서 T3800 시리즈가 있으며, 최대 336TB까지 지원이 가능하다. 5년을 사용하게 되면 무상으로 컨트롤러를 교체해 준다. 테자일 스토리지는 현재 항공사를 비롯해 병원, 대학 등에 가상 환경 구현과 빠른 처리속도를 내기 위해 구축됐다.