|
26일 국제인공지능윤리협회(IAAE)는 서울 강남구 드림플러스 메인홀에서 '2026 ASC(AI Safety Compass) 컨퍼런스'를 개최했다. 올해로 3회째를 맞은 이번 행사는 'AI 에이전트의 보안과 기업의 신뢰 구현 전략'을 주제로 진행됐다.
이날 전창배 IAAE 이사장은 개회사에서 "지금까지 자율성을 가진 존재는 인간과 동물뿐이었지만 이제 AI가 자율성을 갖게 되는 순간에 와 있다"며 "AI 자율성이 높아질수록 통제와 안전, 신뢰의 문제는 더욱 중요해질 것"이라고 말했다. 이와 함께 미국 트럼프 행정부가 AI 자율 규제에서 사전·강제 규제로 방향을 틀고 있는 것도 같은 맥락이라고 언급했다.
발표자로 나선 김명주 AI안전연구소 소장은 에이전트 AI 위험 관리의 핵심 원칙으로 ▲최소 권한 부여 ▲추적 가능한 신원 ▲감사 가능성 확보 등을 꼽았다. 에이전트에게 작업에 필요한 최소한의 권한만 부여해야 하며, 검증되지 않은 외부 서비스 연결이나 플러그인 설치는 금지해야 한다고 설명했다.
김 소장은 AI 행동을 즉시 차단할 수 있는 '킬스위치(Kill Switch)' 개념의 필요성도 강조했다. 그는 "에이전트가 비정상적 행동을 수행할 경우 외부와 연결을 끊고 권한을 축소할 수 있어야 한다"라며 "중요한 의사결정 시점마다 인간이 직접 참여하는 구조가 필요하다"고 말했다. 일례로 주식 AI 에이전트가 무분별하게 베팅을 이어갈 경우 즉시 중단시키는 '킬스위치' 개념이 필수적인 것이다.
이재형 KISA AI보안대응팀 팀장은 이날 발표에서 AI가 기존 보안의 대상에서 '보안의 주체'로 변화하고 있다고 진단했다. 이 팀장은 "AI 시대에는 조직 구조 자체를 재설계하고 AI에게 어디까지 업무를 맡길지 고민해야 하는 시대가 됐다"며 "AI의 오판과 통제 불가능한 의사결정, 이중용도(Dual Use) 문제가 주요 위협으로 떠오르고 있다"고 말했다.
최근에는 AI가 해킹과 공격 자동화에 활용될 가능성에 대한 우려도 큰 상황이다. AI가 인간 심리를 자극하는 스미싱 문구를 생성하거나 언어 장벽을 허물어 공격 성공률을 높이면서 비전문가도 공격자가 될 가능성이 생겼기 때문이다.
앤트로픽의 고성능 AI 모델 '클로드 미토스'가 인간이 27년간 발견하지 못한 취약점을 대거 발굴한 사례도 언급됐다. 이 팀장은 "지난 22일 1차 공개된 결과에 따르면 파트너사에서만 미토스의 취약점 1만여 개가 확인됐다"라며 "강력한 AI가 해킹의 수단이자 방어의 도구가 되는 시대에 진입했다"고 설명했다. 이어 "안전하고 신뢰할 수 있는 AI를 활용하기 위해서는 보안을 필수적으로 고려해야 한다"고 또 한번 보안의 중요성을 강조했다.
