‘국가대표 AI’ 스킵해도 잘 나가는 카카오, 인공지능 협업 능력 평가 ‘오케스트레이션 지표’로 글로벌 행보

카카오가 자체 인공지능(AI) 고도화를 향해 잰걸음을 보이고 있다. 자체 개발한 AI 모델 평가 도구가 국제 학술대회에서 성과로 인정받으며 ‘독자 AI 파운데이션 모델’ 프로젝트와 관계없이 자신만의 길을 구축하고 있단 평가가 나온다.

카카오는 자체 개발한 ‘오케스트레이션 벤치마크’에 관한 논문이 세계 3대 AI 학회인 ‘국제표현학습학회(ICLR) 2026’에 채택됐다고 3일 밝혔다. 이번 ICLR 2026에는 1만9천여 건의 논문이 제출됐다. 이 가운데 상위 28%의 논문만 채택됐다. 

오케스트레이션 벤치마크는 AI 모델의 종합적 협업 능력을 평가하는 지표로, 카카오에 따르면 이를 이용하면 기존 AI 평가 도구의 한계를 보완할 수 있다. 기존 평가 도구인 대형언어모델(LLM) 벤치마크가 단편적 성능 평가에 그쳤다면 오케스트레이션 벤치마크는 다양한 작업 간 의존 관계를 관리하는 오케스트레이션 능력까지도 평가할 수 있다는 것이다.   

카카오의 오케스트레이션 벤치마크는 여행·쇼핑·금융·일정 등 17개 서비스 도메인과 100여 개의 가상 도구를 포함해 구성됐다. 사용자 요청 변경이나 추가 질문 등과 같은 실제 서비스 상의 대화 흐름을 토대로 시나리오를 구축해 실용성도 높였다.

한국어와 영어도 동시에 지원한다. 특히 한국어는 문화적 특성과 맥락을 반영해 평가의 정확도와 신뢰도를 높였다. 카카오는 글로벌 AI 생태계 활성화를 위해 오픈소스 플랫폼 깃허브에 소스코드를 공개했다.

이번 발표는 에이전틱(자율형) AI로 나아가는 흐름을 읽어낸 결과다. 에이전틱 AI는 기존의 생성형 AI에서 한 단계 나아간 것으로, 스스로 목표를 설정해 실행할 수 있는 자율성을 갖춘 것이 특징이다. 

카카오 관계자는 “오케스트레이션 벤치마크는 에이전틱 AI로 진화하는 현 시점에서 의미 있는 연구 성과”라며 “향후에도 에이전트 간 협업 및 오케스트레이션 능력 강화를 위한 연구를 지속하고 카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 것”이라고 말했다.

김주은 기자 / june90@huffpost.kr