 |
| 왼쪽부터 숭실대 최대선 교수, 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 권준석 교수, 홍진 박사과정 (사진=숭실대, 중앙대 제공) |
숭실대학교(총장 이윤재)는 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로, 개인의 목소리를 도용해 실제로 말하는 것처럼 꾸민 가짜 영상, 이른바 ‘립싱크 딥페이크’의 제작을 막는 기술 ‘MUTE(뮤트)’를 개발했다고 밝혔다. 연구팀에 따르면 음성 보호 처리만으로 가짜 영상의 입 모양과 소리의 일치를 무너뜨린 기술은 이번이 처음이다. 이번 연구는 얼굴, 음성 등 개인정보의 악용을 막기 위한 기술로 세계 최고 권위의 국제학술대회 ‘NeurIPS 2026’에 채택됐으며, 개인정보위·KISA의 R&D 과제를 통해 수행한 성과이다.
최근 AI 기술의 발전으로 사진 한 장과 짧은 음성만으로도 실제 사람이 말하는 듯한 정교한 가짜 영상을 만들 수 있게 됐다. 온라인에 공개된 인터뷰나 강연 속 얼굴과 목소리가 무단으로 수집돼, 본인이 한 말을 전혀 다른 자리에서 한 것처럼 꾸민 가짜 광고나 가짜 뉴스에 악용될 수 있다. 얼굴과 목소리는 개인을 식별할 수 있는 개인정보지만, 한번 공개되면 정보주체가 그 이용을 통제하기 어렵다. 가짜 영상을 찾아내 삭제하는 대응은 피해가 발생한 뒤에야 이뤄지는 만큼, 개인정보가 악용되기 전에 보호하는 기술의 중요성이 높아지고 있다.
MUTE는 영상이나 녹음 파일을 온라인에 올리기 전, 음성에 사람이 거의 느끼지 못하는 미세한 보호 신호를 더하는 기술이다. 원래 목소리의 자연스러움은 유지하면서도, AI가 해당 음성을 이용해 가짜 영상의 립싱크를 만들어내는 과정을 방해한다. MUTE로 보호된 음성으로 만든 가짜 영상은 소리와 입술 움직임이 크게 어긋나 립싱크가 눈에 띄게 무너진다. 이 때문에 시청자도 영상에서 어색함을 쉽게 느낄 수 있어, 실제 촬영 영상이 아니라 조작된 가짜 영상일 가능성을 알아차리기 쉬워진다. 연구팀은 5종의 AI 영상 생성 모델에서 립싱크 정확도가 평균 47.5% 낮아지는 것을 확인했으며, 이러한 보호 효과는 음성의 잡음을 제거하는 등의 정제 과정을 거친 뒤에도 유지됐다.
