수십억건 데이터, 초단위로 분석하는 플랫폼 시대 열렸다

즐겨찾기추가

2024.05.10 (금)

기상청 제공

해당된 기사를 공유합니다
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사
- 가나다라마바사

EVENT/EDU

수십억건 데이터, 초단위로 분석하는 플랫폼 시대 열렸다

파스트림코리아 국내 상륙, 굿모닝아이텍과 국내 사물인터넷 시장 공략

방창완 편집국장 기자
등록 2014.12.15 11:03
조회수 1,228

수십억건 데이터, 초단위로 분석하는 플랫폼 시대 열렸다

파스트림코리아 국내 상륙, 굿모닝아이텍과 국내 사물인터넷 시장 공략

“수십억건의 데이터를 1초 내로 실시간 분석하는 분석 플랫폼이 국내 상륙했다.”

제 223차 CIOCISO조찬회에서는 본격적인 IoT(사물인터넷) 시대를 맞아 대용량의 데이터를 빠르고 정확하게 분석하는 분석 플랫폼을 소개하고 기업의 비즈니스 경쟁력을 강화하는 방안에 대해 설명했다.

방창완 편집국장 bang@ciociso.com


▲ 굿모닝아이텍 김영일 상무

국내 공식 론칭한 파스트림 솔루션은 2008년에 독일에서 벤처기업으로 시작해 현재는 미국 실리콘밸리에 본사를 두고 있으며 영국, 프랑스, 이탈리아, 이스라엘에 판매망을 구축하는 등 전 세계적으로 사업을 확장하고 있다. 이번 파스트림 공식 론칭과 함께 파스트림코리아와 굿모닝아이텍은 공식 제휴를 맺고 국내 사물인터넷 시장 활성화에 적극 나설 계획이다.

실시간 분석을 위해 데이터컨설팅을 주로 담당하게 될 비투엔 컨설팅의 김형태 대표 컨설턴트는 “사물 인터넷 환경에서 빅데이터 비즈니스의 핵심은 보다 빠른 분석을 통해 비즈니스에 도움을 주는 것”이라며 “대량의 데이터를 적재 후 이를 조회해 통찰력을 얻는 것이 앞으로 기업 경쟁력의 핵심이 될 것”이라고 말했다.


▲ 파스트림코리아와 굿모닝아이텍이 최근 협약식을 체결했다. (왼쪽) 비투엔컨설팅 김형태대표컨설턴트, 파스트림 조외현 대표, 굿모닝아이텍 이주찬대표, 굿모닝아이텍 김영일상무

김형태 컨설턴트는 “제조사의 경우, 기존 단말 센서에서 발생하는 데이터가 많은 만큼 과거에는 이를 간과해 왔지만, 현재는 실시간으로 분석할 수 있는 기반이 마련됨에 따라 경쟁력을 확보하고 있다”고 전했다. 유럽 웹 분석 업체인 eTRACKER의 경우, 5만개의 도메인을 확보하고 있으며, 100억개의 웹뷰가 생성되고 있는 만큼 실시간 분석환경을 제공해 100명 이상의 사용자가 2초 이내에 필요한 응답을 얻고 있다는 것.

실시간 분석환경은 기업 경쟁력의 핵심


▲ 비투엔컨설팅 김형태 대표컨설턴트

글로벌 유통기업의 경우도, 파스트림을 이용해 4억건 이상의 레코드에 대한 실시간 분석을 이뤄 상품 구매에 미치는 영향을 파악했다. 데이터양이 대량으로 발생하는 통신사의 경우도 분산된 데이터에 대해 질의를 던지고, 결과를 보다 빠르게 끌어 모으고 있다는 것이다.

김형태 컨설턴트는 “수십억건의 데이터에 대해 보다 저렴한 가격으로 실시간으로 분석할 수 있는 환경이 이뤄지며, 자동화를 통해 연속적인 스트리밍 데이터 로딩과 쿼리가 이뤄지고, 파티션에 대해서도 자유자재로 확장할 수 있다”고 설명했다. 이런 파스트림 솔루션은 반복적인 데이터 생성이 잦은 제조 및 통신 분야에 효율적으로 적용될 것으로 보인다.

파스트림, 굿모닝아이텍 제휴로 시장발판 마련

굿모닝아이텍의 김영일 상무는 “파스트림은 빅데이터 환경에서 분석을 위한 최적의 기술을 보유하고 있는 만큼 원하는 것을 보다 빠르게 분석할 수 있다”고 강조했다. 최근에 IT 환경은 하루가 다르게 급변하고 있는 만큼 기존의 데이터 분석환경은 한계가 있을 수 밖에 없다고 지적했다.

그는 “필터링 된 데이터를 분석하는 것은 과거의 데이터일 뿐이다. 데이터는 점차 늘어나고 적제 공간은 한정적인 상황에서 제대로 된 분석이 이뤄지기 어렵고 성능 및 비용 문제가 발생할 수 밖에 없다”며 “파스트림은 기존의 데이터 관리자도 쉽게 분석할 수 있는‘SQL on 하둡’환경에서 1억 천만건의 데이터에 대해서도 1초 이내에 분석이 이뤄지고, 비용 효율적인 분석환경을 제공하고 있다”고 설명했다.

파스트림의 핵심 기술은 HPCI(High Performance Compressed Index)로 병렬처리(MPP)방식을 채용해 용량을 선형적으로 확장하고, 보다 빠른 처리가 가능하며 SQL, API, JDBC, ODBC가 표준으로 들어가기 때문에 범용 환경에서 사용하는 것처럼 환경을 만들어줘 시스템 사용에 대한 부담이 없다.

기존의 데이터 분석을 위한 인덱스 환경은 쿼리를 진행할 때 일일이 풀어줘야하는 번거로움이 있지만, 파스트림은 최적화된 인덱스 환경을 제공해 그 상태에서 분산된 파티션 환경을 통해 쿼리가 빠르게 진행된다. 따라서 적은 메모리로도 대용량의 데이터 분석을 할 수 있다.

기업 생존위해 IoT 분석 애플리케이션에 투자해야

시스템 설치시에도 기존의 x86서버와 리눅스 환경을 지원함에 따라 인프라 비용을 저렴하게 가져갈 수 있으며 가상환경에서도 솔루션을 손쉽게 구현할 수 있다.

이번 조찬회에서 파스트림 본사 CEO 피터젠슨은 동영상을 통해 국내 고객에게 자사 솔루션에 대한 특징을 소개했다. 그는 “그동안 기업들은 효율성 제고, 서비스 향상, 비용절감을 위해 운영 중심의 IoT 애플리케이션을 구축해 왔다. 하지만 이제는 기업 생존을 위해 IoT 분석 애플리케이션에 투자해야 한다”며 “파스트림은 이 분야 최고의 제품이며, 유수의 평가 기관인 가트너, 시스코, CIO 등으로부터 수상을 한 검증된 솔루션”이라고 강조했다.

파스트림코리아 조외현 대표는 “확장되는 IoT 시장에 꼭 필요한 빅데이터 플랫폼이라고 생각해 파스트림 론칭을 결심했다"며 "연속적으로 초당 수백만 건의 데이터를 적재, 인덱싱 하면서 동시에 수십억 건의 데이터를 1초 이내로 실시간 분석하는 플랫폼은 현재 파스트림이 유일하다"고 말했다.

한편 이번 조찬회 이후 파스트림코리아 설립 후 첫 공식 행사인 기자간담회가 이어졌다. 이반 간담회에서는 국내 총판사인 굿모닝아이텍과의 협약식을 시작으로, 파스트림 본사 CEO의 영상 환영 메시지가 이어졌다.

굿모닝아이텍 김영일 상무는 “파스트림에 대한 관심을 오래 전부터 가지고 있었기 때문에 총판사가 되어 기쁘게 생각한다”며 “파스트림과 굿모닝아이텍이 보유한 기술력이 만나면 최상의 시너지 효과를 낼 수 있을 것으로 기대한다”고 말했다.

이와 함께 “빅데이터가 활발히 생성되고 있는 정보통신, 제조, 공공, 유통 등에 진출한 후 점차 시장을 확대해 나갈 계획”이라고 밝혔다.

방창완 편집국장 기자의 전체기사 보기