카카오, AI 언어모델 성능 평가 데이터셋 공개

[마이데일리 = 박성규 기자] 카카오는 인공지능(AI) 언어모델 펑션콜(함수호출) 성능을 평가할 수 있는 데이터셋인 ‘펑션챗-벤치’를 구축하고 오픈소스로 공개했다고 27일 밝혔다.

펑션콜이란 AI 언어모델이 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간 정보를 받아올 수 있도록 언어모델과 API 등의 외부 도구를 연결하는 기술을 뜻한다.

카카오는 펑션콜 기술 고도화를 위해 국내 IT 기업 첫 한국어 대화 환경에서 성능을 다면적으로 평가할 수 있는 펑션챗-벤치 데이터셋을 구축했다.

데이터셋은 △함수 이름과 인자 추출의 정확성 △함수 호출 결과 전달의 정확성 △누락 정보 인지를 통한 추가 질의 발생 여부 △호출 가능한 함수와의 관련성 감지 등을 평가하는 기준 항목으로 구성돼 있다.

카카오는 한국어 AI 언어모델 생태계 활성화와 개방적 AI 환경을 위해 해당 데이터셋을 오픈소스 커뮤니티 깃허브에 공개했다.

김병학 카카오 카나나 알파 성과리더는 “펑션콜 기술의 성능 평가 토대를 처음으로 마련한 만큼, 꾸준히 데이터셋의 활용성을 높여가기 위해 노력할 계획”이라고 말했다.

박성규 기자 psk@mydaily.co.kr
- ⓒ마이데일리(www.mydaily.co.kr). 무단전재&재배포 금지 -