카카오, 온디바이스용 카나나-2 경량 모델 4종 오픈소스 공개

카카오가 경량 언어모델 카나나-2 시리즈 4종을 오픈소스로 공개했다. 스마트폰과 개인용 컴퓨터 등 기기 안에서 AI를 구동하는 온디바이스 환경을 겨냥한 모델이다.

공개 모델은 카나나-2-1.3B-base, 카나나-2-1.3B-instruct, 카나나-2-3B-base, 카나나-2-3B-instruct다. 13억 개와 30억 개 매개변수 규모로 나뉘며, 각각 기본형과 지시형 모델이 제공된다. 배포는 글로벌 AI 플랫폼 허깅페이스에서 이뤄졌다.

카카오는 이번 모델에 카나나 오픈 라이선스를 적용했다. 기업과 연구기관, 개발자는 공개 조건에 따라 상업적 활용까지 할 수 있다. 경량 모델을 내부 서비스뿐 아니라 외부 개발 생태계에서도 사용할 수 있게 한 점이 특징이다.

한국어 처리 효율을 높이기 위한 자체 토크나이저도 들어갔다. 같은 한국어 문장을 더 적은 토큰으로 처리하도록 설계해 처리 효율을 기존보다 30% 이상 높였다는 설명이다. 토큰 수가 줄면 연산 시간과 비용을 낮추는 데 도움이 된다.

장문 처리와 메모리 사용량을 줄이는 기술도 함께 적용됐다. 슬라이딩 윈도우 어텐션을 통해 최대 3만2,000토큰 길이의 대화를 처리하면서 메모리 사용량을 최대 72.7% 절감할 수 있다. 카카오는 카카오톡 대화·통화 요약, 카나나 인 카카오톡, AI 국민비서 등에 경량 모델을 활용하고 있다.

카나나-2는 한국어와 영어, 수학, 코딩, 도구 호출 등 주요 평가 항목에서 비슷한 규모의 글로벌 공개 모델과 경쟁 가능한 성능을 확보한 것으로 소개됐다. 공개 범위가 상업적 이용까지 포함되면서 스타트업과 연구기관의 AI 서비스 개발에도 활용될 수 있다.