|
카카오브레인은 이미지와 대규모 언어모델을 연결할 수 있는 새로운 모듈을 제안하고자 높은 수준의 멀티모달 언어모델 오픈소스 '허니비'를 공개했다. 현재 멀티모달 언어모델에 대한 연구는 공개된 모델의 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황에서 카카오브레인은 멀티모달 언어모델의 발전에 기여하고자 자체 개발한 '허니비'의 소스코드를 공개하기로 결정했다.
MLLM은 이미지와 명령어(프롬프트)를 입력하면, 텍스트로 답변하는 모델로 텍스트로만 입?출력하는 대규모 언어모델에서 확장된 형태다. 이미지와 텍스트를 모두 입력할 수 있기에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있는 능력을 가지게 된 것이다. 그 결과, 'MME', 'MMBench', 'SEED-Bench' 등의 벤치마크에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다.
카카오브레인은 '허니비'의 MLLM 특성에 따라 이미지를 입력하고 텍스트로 질문하면 답변 생성 및 사용자와의 상호작용이 가능해 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 전망하고 있다.
