인공지능(AI) 언어 데이터 전문기업 플리토가 자연어처리 전문기업 트위그팜과 함께 인공지능 번역기 품질 평가를 위한 데이터를 공동 구축한다.

트위그팜이 주관사로 플리토를 비롯해 시스트란, 글나무, 에퀴코리아, 푸르모디티 등 총 5개 참여사로 구성된 컨소시엄이 한국지능정보사회진흥원(NIA)의 ‘다국어 번역 품질 평가 데이터’ 사업 협약을 체결했다. 

플리토 참여 컨소시엄은 올 연말까지 ▲언어별 저작권 이슈 없는 신규 문서 확보 ▲언어별 번역 말뭉치 데이터 및 번역 품질 평가 데이터 구축 ▲데이터 및 구축 공정 품질관리 및 데이터 품질 검증 수행을 통한 고품질 데이터셋 구축 등을 수행할 계획이다.

글로벌 빅테크들의 생성형 AI 서비스 출시와 국내외 대기업들의 초거대 AI 투자가 본격화되는 가운데, 인공지능의 성능과 직결되는 고품질 데이터 구축과 기존 데이터의 품질 평가 시스템의 중요성이 대두되고 있다. 특히 언어권별 학습 데이터 수의 큰 격차를 극복하기 위해 기계번역(MT) 성능의 고도화는 필수인데, 지금까지는 ‘블루 스코어(BLEU Score)’와 같이 사람의 번역과 기계번역 결과 간 ‘단어 유사도’ 측정에 한정된 평가 기준으로 한계가 있었다.

이러한 한계를 극복하고 고품질의 대규모 병렬 말뭉치(코퍼스) 데이터를 구축하고자 트위그팜은 통합 크라우드소스 플랫폼을 운영하는 플리토와 손잡았다. 전 세계 약 1300만 유저의 플랫폼을 통해 양질의 최신 언어 데이터 확보가 가능하고, 특히 저작권 문제없는 적법성이 확보된 데이터 구축이 가능하다는 점에서 최적의 파트너라는 것이 트위그팜측 설명이다. 

자체 AI 엔진과 플랫폼 번역가, 검증된 링귀스트팀을 모두 운영하면서, ‘국립국어원 한국어-외국어 병렬 말뭉치 구축 사업’을 3년 연속 수주한 플리토의 데이터 사업 경쟁력을 바탕으로 이번 사업의 성공적 완수를 위해 긴밀하게 협업하겠다는 입장이다.

이번 컨소시엄을 주관하는 트위그팜의 백선호 대표는 “지금까지 정부 주도의 대규모 말뭉치 데이터 구축이 지속되고 있었지만 정작 데이터의 품질을 평가하는 기술에는 다소 한계가 있었다”며 “초고품질 다국어 데이터 구축 및 품질 평가를 통해 초거대 AI 환경 조성에 기여하겠다”고 포부를 밝혔다.

참여사 플리토의 이정수 대표는 “이번 수행 과제에 자사의 글로벌 통합 플랫폼을 활용할 수 있게 돼 기쁘다. 플리토가 저작권 이슈 없는 고품질 다국어 데이터 구축에 차별적 경쟁력을 보유하고 있는 만큼, 사업의 성공적 완수를 위해 최선을 다하겠다”고 말했다.