“기업들이 가용 데이터를 얼마나 성공적으로 관리·활용하느냐가 주요 과제임과 동시에 IT 주요 이슈가 될 것이다.” 지난달 22일 삼성동 그랜드 인터콘티넨탈 호텔에서 C미디어 주최로 열린 제21회 기술컨퍼런스에서 강조됐던 말이다. 최근 빅 데이터가 전 산업군 전반에 걸쳐 IT 이슈가 되는 가운데 아카이빙, 백업, 분석 등 관련 업무의 비중이 함께 늘어나고 있다. 이날 컨퍼런스에는 업종별 주요 기업 IT실무 부서장과 한국EMC, 한국시만텍, 한국오라클 등 관련 업체가 함께 해 빅 데이터와 관련된 최근 이슈에 대한 정보를 공유하는 자리를 가졌다. 이지혜 jh_lee@biziton.com ‘빅 데이터 이슈 대응 방안 및 전략’이란 주제로 열린 제 21회 기술컨퍼런스에서는 최근 모바일 오피스 환경의 확대, 소셜네트워크의 활성화, 각종 문서의 디지털화 등으로 기업이나 기관에서 처리해야 할 데이터가 급증함에 따라 이에 대처해야 할 방안들이 검토됐다. 최근 데이터가 증가하는 ‘빅 데이터’가 엔터프라이즈 IT환경에서 이슈가 되고 있는 가운데, 글로벌 시장 분석 기관들은 보통 10TB 이상의 데이터량을 ‘빅 데이터’라고 정의내리고 있다. 또한 향후 빅 데이터를 보유한 기업들이 더욱 급증할 것으로 예상되면서 데이터 보관, 관리, 활용 등이 기업 IT의 주요 아젠다로 급부상하고 있다. EMC - 분산·병렬·통계적 기법으로 대응체계 갖출 것 작년 삼성경제연구소의 발표에 의하면 ‘빅 데이터’란 기존의 관리 및 분석체계로는 감당하기 어려운 정도의 막대한 데이터를 지칭하며 디지털 공간 정보의 규모로는 약 12억TB에 달한다. 박춘삼 한국 EMC이사는 “5년 후에는 데이터량이 현재와 비교해 약 40배 증가될 것으로 예상되며 현재 트위터에서만 9000만건의 트랜잭션이 일어나고 있는 것만 봐도 기업들은 기존의 시스템으로 어떻게 정보 분석을 할지에 대해 고민해야 한다”고 말했다. 특히 그는 “기존 경영 정보와 빅 데이터를 분석하는 방법에는 분명한 차이점이 있다”며 “기존 경영정보 분석이 일정한 양식에 따른 정제된 데이터의 취급이었다면, 웹사이트의 방문기록, 소셜 미디어의 소통정보를 망라한 빅 데이터는 양식이 제각기 다르고 구조화된 수준도 낮다”고 전했다. 이 때문에 진보된 분산처리 기술, 정보의 병렬 처리, 통계적 기법의 접근 등이 필요하다는 것이 그의 설명이다. 지난해 데이터웨어하우스(DW) 업체인 그린플럼(Greenplum)을 인수한 EMC의 빅 데이터 대응 전략은 크게 네 가지로 나뉜다. 우선 MPP(대용량병렬처리) 기반의 고성능 분산 처리 데이터베이스, 비구조화 데이터 연동기술(M/R, Hadoop), 병렬통계기법(In-Database), 마지막으로 프라이빗 클라우드 형태의 ‘엔터프라이즈 데이터 클라우드’가 바로 EMC 그린플럼의 기술방향성이다. 박 이사는 EMC의 기술적인 차별화 요소를 크게 8가지로 설명했다. (표 참조) 특히 그는 국내외 닷컴기업이나 쇼핑몰 등의 회사들이 비정형화된 데이터를 분석하는 작업이 많은 것과 관련해 이를 MapReduce/Hadoop와 연동시켜 작업하게 되면 더 구체적인 밸류를 접할 수 있을 것이라고 조언했다. 박 이사는 기업이 자원을 확장하기 위해 계속해서 장비를 구입하는 것에 대해서는 “가상화를 이용하면 그 빈도가 줄어들 것”이라며 “EMC의 강점은 일반적인 데이터베이스를 만들어 놓은 상태에서 솔루션을 이용할 수 있어 새로운 시스템을 도입하거나 모니터링 하는 시간을 단축시킬 수 있다”라고 전했다. EMC는 올 상반기 중 그린플럼 DCA라인업 전략의 일환으로 GP1000 SSD를 출시할 계획이다. 현재 CJ그룹, 삼성생명, 한화손해보험, SK커뮤니케이션, 다음, 네오위즈 등의 다양한 고객사들을 확보하고 있다. 그는 “빅 데이터 시대가 도래함에 따라 기존시스템의 변화는 필수적으로 요구된다”며 “비구조 데이터 분석 연계와 클라우드를 구현하는 방향으로 방법을 모색해 나가야 한다”고 덧붙였다. 시만텍 - 클라우드 환경에서의 효율적인 데이터센터 운영 신승엽 한국시만텍 수석컨설턴트는 빅 데이터가 가시화되고 이슈가 되는 배경에 대해 “클라우드와 가상화가 중심에 위치하고 있기 때문”이라고 설명하며 “이에 따른 효율적인 데이터센터 운영 방안이 중요하다”고 강조했다. 그는 “기존 IT는 시스템 중심이었지만 현재는 정보 중심으로 변화되면서 기업들은 분산처리와 비정형데이터에 대해 고민하고 있다”고 말했다. 특히 기업 내 각 시스템이나 장비가 서로 다른 회사의 제품일 경우, 데이터센터 환경은 복잡해질 수밖에 없으며 기존 IT관리자들은 자신의 데이터가 어느 곳에 위치하고 있으며 밸류의 어느정도 되는지 측정하기 어렵게 됐다. 신 수석컨설턴트는 이러한 환경 내에서 데이터들은 기본적인 관리운영, ‘스토리지 운영의 최적화와 chargeback’인 CCS(Command Central Storage), ‘비정형 데이터관리와 chargeback’인 DI(Data Insight for Storage)등 상세한 스토리지 관리로 이뤄져야 한다고 전했다. 여기에서 기본적인 관리와 운용은 ‘Veritas Operation Manager’를 통해 이뤄지면서 모든 데이터의 연관관계를 파악할 수 있으며 사용자의 장애를 최소화 시켜준다. 또한 시만텍은 고객에게 볼륨 mirror관리와 모니터링을 제공하면서 어떠한 장애나 경고가 발생할 시 한 화면에서 볼 수 있는 가시성을 제공하고 있다. 그는 특히 자동화를 통한 스토리지 사용률 극대화에 대해 스케쥴에 의한 미사용 공간을 확인해 재사용을 도와주며 이러한 재사용 공간이 리포트 된다고 덧붙였다. 한편 기업은 CCS를 통해 다양한 스토리지와 앱을 분석하고 엔드 투 엔드 결과, 모든 데이터 센터 내 스토리지 중앙관리가 가능해진다. 또한 DI를 통해 데이터소유자의 확인과 데이터 사용률, 접근패턴과 기존의 정보를 제공함과 동시에 DLP(데이터 손실방지시스템)와 같은 보안 솔루션을 함께 제공하고 있다. 손 수석컨설턴트는 “많은 기업들이 클라우드를 고려하는 이유는 비용절감, 비즈니스의 급격한 변화에 따른 신속한 대응과 전체적인 퍼포먼스 때문이다”라며 “시만텍은 인프라가 아닌 정보관점의 최적화된 스토리지 운영을 통해 동일한 이미지들을 어떻게 효율적으로 관리·즉각적으로 스토리지를 제공할지에 대해 초점을 두고 있다”고 설명했다. 이에 시만텍의 ‘VirtualStore’는 즉각적이고 능동적인 스토리지를 NAS형태로 제공하고 있으며 어느 벤더의 스토리지를 사용하고 있어도 서비스를 제공받을 수 있다. ‘VirtualStore’는 OS이미지, 서버 노드에 대한 확장을 통한 성능확장이 가능하며 VMware의 vCenter와 통합 및 운영이 가능하다. 그는 마지막으로 클라우드 환경에서 정보관리와 효율적인 스토리지 관리를 통한 기업들의 올바른 데이터센터 운영이 필요하다고 강조했다. 오라클 - 웨어하우스 시스템 아키텍처의 진화 나정옥 한국오라클 상무는 “IT의 중요성이 커지면서 장비들이 다양하게 도입되고 환경이 복잡해지고 있다”고 말했다. 특히 “현업의 적극적인 데이터 요구 요청에 IT부서가 실시간으로 대응해줘야 하며 비즈니스 가시성과 연속성을 유지해야 한다는 어려움을 겪고 있다”고 덧붙였다. 기업에서 비즈니스를 하고 남는 산출물은 ‘이윤’과 ‘데이터’로 봐도 무방하다고 말한 그는 기업이 데이터 성능에 대한 이슈와 IT한계에 봉착하게 되면서 다른 대응 방안을 찾고 있다고 전했다. 특히 데이터에 접근하는 방식들이 기존과는 크게 달라진 점이 특징이다. 현재는 대용량 데이터 처리 성능을 획기적으로 개선하면서도 consolidation플랫폼으로서의 역할, 직적접이고 강력한 기능이 함께 요구되고 있다. 이러한 요구에 부합하기 위해 오라클의 대표적 솔루션인 엑사데이터베이스 머신은 크게 세 가지의 대표적 기술들을 보유하고 있다.(표 참조) 특히 압축 기능은 단순히 스토리지 절감뿐 아니라 성능향상에 있어서도 필수적으로 요구되는 기능이다. 나 상무는 “대부분의 벤더업체들이 압축 기능을 제공하고 있지만 압축률과 성능저하 여부를 체크하는 것이 중요하다”며 “오라클은 DW, 아카이브, OLTP 압축 모두를 아우르고 있다”고 설명했다. 또한 엑사데이타 ‘Smart Flash Cache’는 자주 액세스 되는 기업내 hot 데이터들을 flash 스토리지에 자동 caching해준다. 그 외 데이터들은 저비용 디스크 드라이브에 할당시키며 약 75GB/sec와 1백50만개 IOPS 데이터들을 처리하게 된다. 한국오라클은 통신사, 유통회사, 온라인쇼핑몰, 항공사, 금융권 등 다양한 산업군의 고객을 확보하고 있다. 그는 “통신사는 민첩성과 이익증대 혹은 신규창출의 목적, 유통회사는 업무프로세스의 개선을 노리고 있다”며 “온라인 쇼핑몰은 고객이탈 방지와 시장 점유율 확대, 항공사는 실시간 위험요인 분석 등에 자사 제품을 활용하고 있다”고 설명했다. 오라클은 Bigger Pipe, More Pipe, Smart Scan, Exadata Smart Flash Cache, Hybrid Columnar Compression 의 5가지 대표적인 적용기술을 통해 향후 표준 및 개방성을 지향하는 IT통합 환경을 제공한다는 방침이다.