LG AI연구원, 세계 최고 권위 학회서 ‘최고논문상’ 수상

김승원 카네기멜론대 박사과정 연구생./LG

LG AI연구원은 자연어 처리(NLP) 분야 세계 최고 권위 학회인 '북미 전산언어 학회(NAACL) 2025'에서 최고논문상을 수상했다고 30일 밝혔다.

LG AI연구원은 지난해 열린 'NAACL 2024'에서 AI 시스템의 안정성 및 공정성을 주제로 발표한 연구 논문으로 소셜임팩트상을 수상했다. 올해는 생성형 AI 모델 성능을 평가하는 새로운 벤치마크 연구 논문으로 최고논문상을 받았다.

최고논문상은 자연어 처리 분야에서 새로운 연구 방향을 제시하거나 중요한 문제를 해결한 연구 중 올해 가장 혁신적이고 중요성이 높다고 평가를 받은 연구가 선정된다.

김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드 리더, 서민준 KAIST 교수 연구팀과 함께 생성형 AI 모델 성능을 평가하는 '빅젠 벤치'를 개발해 최고논문상을 수상했다.

LG AI연구원과 서민준 KAIST 교수 연구팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, MIT, 워싱턴대 등 여러 대학의 연구진이 함께 참여했다.

빅젠 벤치는 △지시사항 수행 △논리적 추론 △도구 사용 능력 △안전성 △다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류한다. 또 77개의 세부 역할을 잘 수행하는지 평가하는 765개 항목으로 구성됐다. 이는 생성형 AI 모델을 사용하고 평가할 때 주변의 다양한 상황과 주관적 요소를 고려하는 사람의 평가 방식을 모방한 것이다.

LG AI연구원은 빅젠 벤치를 사용해 103개의 생성형 AI 모델들을 평가한 결과, 전문가 집단과의 교차 검증에서 높은 수준의 신뢰도와 타당도를 보여 새로운 벤치마크로의 가능성을 확인했다.

이문태 LG AI연구원 초지능랩장은 "빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐다"며 "기존 벤치마크들의 한계를 극복하고 인간의 정교한 평가기준에 부합해 AI 모델의 능력을 파악할 수 있다는 장점이 있다"고 말했다.

LG AI연구원은 빅젠 벤치를 기반으로 생성형 AI 모델 개발 과정에서 세부 항목별 성능을 자동으로 평가하는 후속 연구도 진행 중이다.

한편 LG AI연구원은 2020년 12월 출범 이후 NAACL을 비롯해 NeurIPS, AAAI, CVPR, ICML, ACL 등 AI의 각 분야별 글로벌 최상위 학회에서 총 234편의 논문을 발표했다.