성적 딥페이크·미성년자 이미지 악용 논란… “효과적 안전장치 부족”
|
당국은 그록이 비동의 성적 이미지와 딥페이크 포르노 생성에 악용되고 있으며, 특히 여성과 미성년자를 대상으로 한 불법 콘텐츠 확산을 막을 안전장치가 충분히 마련돼 있지 않다고 밝혔다.
이들 국가는 생성형 AI 기술이 현실과 구분하기 어려운 이미지와 텍스트를 생성해, 기존의 규제와 자율적 통제만으로는 오남용을 막기 어렵다는 판단에 따라 선제적 차단에 나섰다고 설명했다.
무티아 하피드 인도네시아 통신디지털부 장관은 성명을 통해 "당사자의 동의 없이 만든 성적 딥페이크는 인권과 존엄, 그리고 디지털 공간에서 시민의 안전을 심각하게 침해하는 행위"라며, "이번 조치는 AI를 활용해 생성된 가짜 포르노 콘텐츠로부터 여성과 아동, 사회 전반을 보호하기 위한 것"이라고 설명했다.
말레이시아 통신멀티미디어위원회(MCMC) 역시 그록이 여성과 미성년자가 포함된 음란하고 성적으로 노골적인 비동의 조작 이미지를 반복적으로 생성·확산하는데 악용된다고 밝혔다.
MCMC는 이달 초 엑스(X·옛 트위터)와 xAI에 보다 강력한 안전장치를 요구하는 공문을 보냈지만, 회사 측의 대응은 주로 사용자 신고 시스템에 의존하는 수준이라고 설명했다. 또 "이번 제한은 법적·규제 절차가 진행되는 동안 취하는 예방적이고 비례적인 조치"라며 "효과적인 안전장치가 마련될 때까지 계속 차단할 것"이라고 밝혔다.
2023년 출시된 그록은 머스크의 소셜미디어 플랫폼 X에서 무료로 제공된다. 지난해에는 성인 콘텐츠를 제작할 수 있는 '스파이시 모드'를 포함한 이미지 생성 기능 '그록 이매진(Grok Imagine)'이 추가되며 논란이 확대됐다.
그록은 최근 성적 딥페이크 논란 이후 이미지 생성·편집 기능을 유료 이용자로 제한했지만, 규제 당국과 시민 단체들은 이러한 조치만으로는 오남용을 근본적으로 막기에는 부족하다고 지적하고 있다.
