카카오, AI 한국어 독해 능력인간 넘어섰다” [start-up]
카카오는 자체 개발한 AI 언어 모델이 AI 한국어 독해 능력 평가에서 인간보다 높은 점수로 1위를 차지했다고 밝혔다. 한국어 학습 데이터 KorQuAD(The Korean Question Answering Dataset)를 바탕으로 한 기계 독해 능력 평가에서 91.85점을 받은 것. 평가 주최인 LG CNS가 인간의 문장 판별과 독해 능력 수준이라고 밝힌 91.20점보다 0.65점 높다.
LG CNS가 운영 중인 기계 독해 능력 평가는 스탠포드 대학이 시작한 AI 언어지능 연구용 질의응답 학습 데이터셋 SQuAD(The Stanford Question Answering Dataset)와 같은 방식으로 구현한 것이다. LG CNS는 지난해 12월 한국어 학습 데이터셋 KorQuAD를 구축해 오픈소스로 공개하고 이를 바탕으로 자체 개발 AI 언어 모델로 성능을 공식 평가받을 수 있도록 했다.
평가는 데이터셋에서 추출한 내용을 질문으로 제시하고 이에 대한 답을 찾아내는 식으로 이뤄진다. 이번에 평가를 받은 카카오의 AI 언어 모델(BERT LM fine-tuned (single) + KHAIII)은 구글 AI 언어모델에 카카오의 형태소 분석기를 접목한 것이다. 이를 통해 조사 사용과 어미 변형 등 한국어의 고유 특성에 최적화했다는 설명이다.
김응균 카카오 자연어...
Top
