과기부, 국내 첫 AI 안전성 평가…韓 모델은 ‘이상 無’

과기부·AI안전연구소·TTA, 카카오 '카나나' 평가
차별적 표현부터 오남용 가능성 높은 시나리오 등 점검

과학기술정보통신부 현판./과학기술정보통신부

국내 고성능 인공지능(AI) 모델이 글로벌 모델보다 높은 안전성을 가진 것으로 확인됐다.

과학기술정보통신부는 AI안전연구소와 한국정보통신기술협회(TTA)와 함께 카카오의 AI 모델인 카나나를 대상으로 국내 첫 AI 안전성 평가를 실시했다고 29일 밝혔다.

AI 안전성 평가는 AI 위험 식별·평가를 통해 AI 시스템의 안전성을 확보하는 수단 중 하나이다. 과기부는 내년 1월로 예정된 AI기본법 시행을 앞두고, 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있다.

이번 안전성 평가는 AI안전컨소시엄에 참여 중인 카카오 측과의 협의를 거쳐 카카오의 AI 모델인 '카나나 에센스 1.5'를 대상으로 실시했다.

평가에는 TTA·카이스트가 지난달 18일 공개한 AssurAI 데이터셋과 AI안전연구소의 고위험 분야 평가 데이터셋이 사용됐으며 폭력, 차별적 표현 등 일반적인 위험 요소부터 무기, 보안 등 오남용 가능성이 높은 시나리오까지 적용해 폭넓게 점검했다.

그 결과, 카나나는 유사 규모의 글로벌 모델 대비 높은 안전성을 확보한 것으로 나타났다.

한국어를 기반으로 35개 위험 영역을 평가하도록 설계된 안전성 벤치마크 데이터셋 AssurAI는 해외 연구기관과 공동 검증·활용을 위해 지난달 18일 공개한 바 있다.

향후 AI안전연구소가 기 구축한 고위험 분야 데이터셋과 함께 국제 AI안전연구소 네트워크 및 국제표준화(ISO/IEC JTC 1/SC 42 등) 반영을 추진해 글로벌 정합성을 제고할 예정이다.

이번 평가를 기반으로 2026년에는 '독자 AI 파운데이션 모델' 프로젝트 1차 단계평가에 참여하는 한편, 국내외 AI 기업들과의 협력을 통해 타 AI 모델 대상으로 평가 확대도 추진한다.

김경만 과기부 AI정책실장은 "세계적으로 AI 안전에 대한 논의가 규제보다는 검증과 구현이 강조되는 상황에서 이번 평가는 국내 AI 모델의 안전성 경쟁력을 증명한 사례"라며 "국내 AI 모델이 글로벌 AI 안전성 리더십을 주도해 나가도록 적극 지원하겠다"고 말했다.