스켈터랩스자체 AI 언어모델, 한국어 기계독해 평가 1위” [start-up] 스켈터랩스는 자체 개발한 한국어 AI 언어 모델이 한국어 기계 독해 데이터셋(KorQuAD 1.0) 기반 성능 평가 리더보드에서 F1 스코어 95.15점을 받아 1위를 기록했다고 밝혔다.
KorQuAD 1.0은 LG CNS가 지난 2018년 공개한 한국어 질의응답 데이터셋. F 스코어는 AI 모델이 찾는 답과 실제 정답을 글자 단위로 비교해 정밀도와 재현율을 종합 고려한 수치다. KorQuAD 1.0은 여기에 모델이 정답을 정확하게 맞춘 데이터 비율을 뜻하는 EM 스코어를 더해 성능 평가 결과를 부여한다. 문제를 인간이 직접 풀면 F1 스코어 91.20점, EM 스코어 80.17점을 기록, 이를 기준으로 인간 대비 AI 독해력을 평가한다.
스켈터랩스는 이 같은 평가에서 F1 스코어 95.15점을 기록한 것. 회사 측은 이번에 평가 받은 자사 AI 모델이 적은 양의 학습 데이터로도 한국어에서 관찰되는 다양한 고유 특성을 학습할 수 있게 설계됐고 새로 개발되는 언어 모델이나 활용 분야에 유연하게 적용할 수 있게 자체 프레임워크를 개발해 모델 성능 향상에 중점을 뒀다고 설명했다.
스켈터랩스는 이번 모델을 바탕으로 한 질의응답 기술을 올 상반기 내 자사 AI 챗봇 설계 솔루션(AIQ.TALK Chatbot)에 적...
Top
