카카오, 자체개발 비전 인코더 2종 오픈소스 공개

9개 평가영역서 주요 글로벌 모델보다 높은 성능 기록
학습효율 4배 높이고 처리 지연 60% 이상 줄여

/카카오

카카오가 멀티모달 인공지능(AI)의 '눈' 역할을 하는 자체 개발 비전 인코더 2종을 오픈소스로 공개했다. 한국어 문서 이해와 이미지 기반 질의응답 등에 활용할 수 있도록 상업적 이용까지 허용하며 자체 멀티모달 AI 생태계 확대에 나선다.

21일 카카오에 따르면 이번에 공개한 'Kanana-2-vision-encoder'는 4억2600만 파라미터 규모의 'medium'과 9800만 파라미터 규모의 'tiny' 두 종류다. 모델은 글로벌 AI 개발 플랫폼 허깅페이스를 통해 제공된다.

비전 인코더는 이미지 속 사물과 글자, 위치, 형태 등 시각적 특징을 추출해 언어모델에 전달하는 기술이다. 메뉴판의 음식과 가격을 읽거나 문서의 내용과 배치를 파악하고 사진 속 상황을 설명하는 등 멀티모달 AI의 이미지 이해 성능을 좌우하는 핵심 구성 요소다.

카카오는 일반 시각 질의응답과 영어·한국어 문자 인식 및 문서 이해, 이미지 내 위치 파악과 세밀한 인식 등 9개 영역의 42개 벤치마크에서 성능을 평가했다. 그 결과 두 모델 모두 구글 'SigLIP 2', 메타 'Perception Encoder', 애플 'AIMv2', 알리바바 'Qwen3.5-ViT' 등 비교 대상 모델보다 높은 성능을 기록했다고 회사 측은 설명했다.

특히 tiny 모델은 파라미터 수가 1억개 미만인 경량 모델임에도 4억개 이상 규모의 비교 모델과 경쟁력을 보였다는 설명이다. 이미지 내 위치 파악과 한국어 시험, 한국어 문자 인식·문서 이해 영역에서 성능 차이가 두드러졌다.

카카오는 자체 개발 언어모델 'Kanana-2'를 비전 인코더 학습에 활용해 학습 효율을 기존 대비 약 4배 높였다. 고해상도 이미지 처리에 맞춘 설계를 적용해 주요 글로벌 비전 인코더와 비교해 처리 지연 시간도 60% 이상 줄였다고 밝혔다. 지식 증류와 경량화 기술을 적용해 온디바이스 환경까지 고려한 tiny 모델도 개발했다.

두 모델에는 연구·개발뿐 아니라 상업적 활용이 가능한 '카나나 오픈 라이선스'를 적용했다. 카카오는 국내외 연구자와 기업이 한국어 문서 이해와 이미지 기반 질의응답 등 멀티모달 AI 연구·서비스 개발에 활용할 수 있도록 한다는 계획이다.

카카오는 비전 인코더를 비롯해 언어모델과 시각·음성 처리 모듈 등 옴니 언어모델 'Kanana-o'를 구성하는 요소를 자체 개발하고 있다. 향후 다른 구성 요소도 순차적으로 공개할 예정이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "PC나 모바일 화면을 직접 이해하고 조작하는 '컴퓨터 유즈' 기술이 주목받으며 고해상도 이미지를 정확하게 분석하는 비전 인코더의 역할이 커지고 있다"며 "자체 AI 모델의 경쟁력을 높이는 동시에 관련 기술을 공개해 AI 생태계 발전에 기여하겠다"고 말했다.