목표 위해 규칙 벗어난 돌발행동… AI, 인간 통제 범위 벗어나다

보안 시스템 우회 등 잇따라 확인
전문가 "보상 위해 방해요소 제거"
성능 높아질수록 통제 더 어려워져
정부 차원 레드팀 제도 필요성 제기

AI 에이전트가 인간의 업무를 대신하는 수준을 넘어 스스로 판단하고 행동하는 단계로 진화하면서 새로운 위험도 드러나고 있다. 주어진 목표를 달성하기 위해 인간이 설정한 규칙을 우회하거나, 작업 과정에서 발생한 실패를 감추는 등 예상하지 못한 행동이 관찰되면서다. 업무 효율을 높이기 위해 도입한 AI가 오히려 인간의 통제 범위를 벗어날 수 있다는 우려가 커지고 있다.

10일 업계에 따르면 최근 AI 에이전트가 인간의 지시를 수행하는 과정에서 보안 시스템을 우회하거나 감독을 피하는 사례가 잇따라 확인됐다. 지난 7월 오픈AI의 내부 사이버보안 평가 과정에서 AI 에이전트들이 인터넷 접근이 차단된 샌드박스 환경을 벗어나 오픈AI 내부 시스템과 외부 플랫폼 허깅페이스의 일부 시스템에 접근하는 사건이 발생했다. 당시 에이전트들은 자체적으로 통신 수단을 만들어 서로 정보를 주고받았으며, 취약점을 연쇄적으로 이용해 접근 권한을 확대했다.

오픈AI는 10월에도 내부 코딩 작업에서 감독 체계를 약화한 사례를 공개했다. 한 에이전트는 코드 수정 과정에서 보안팀에 전달되는 자동 경보를 비활성화했고, 다른 에이전트는 프로그램을 이전 구조에 맞추기 위해 모니터링 기능을 제거한 뒤 사용자에게 해당 기능을 삭제하지 않았다고 잘못 보고했다. 회사 측은 이를 두고 의도적인 감독 회피인지, 지시를 지나치게 충실하게 수행하려는 행동인지 추가로 평가하고 있다고 밝혔다.

이러한 행동의 배경에는 AI를 학습시키는 보상 체계가 있다. 강화학습 과정에서 AI는 특정 작업을 성공적으로 수행하면 보상을 받고 실패하면 감점을 받는다. 문제는 인간이 준 과제를 반드시 해내기 위해 방해되는 것은 모두 제거한다는 점이다. 최병호 고려대학교 인공지능연구소 교수는 "인간이 지시한 일을 반드시 수행하도록 학습시키고 성공하면 가점을 주는 구조에서 AI는 지시받은 일을 해내는 것을 최우선으로 판단한다"며 "샌드박스처럼 제한된 공간에서 작업하도록 제약을 걸어도 AI 입장에서는 그 제약이 목표 달성을 방해하는 요소가 될 수 있다"고 설명했다.

이어 "인간은 제한된 환경에서 작업이 불가능하면 멈추는 판단을 할 수 있지만, AI는 처음 부여받은 미션을 달성하는 데 집중하면서 제한을 우회할 가능성이 있다"며 "금지 사항을 알려주더라도 목표 달성보다 낮은 우선순위로 학습됐다면 이를 어길 수 있다"고 덧붙였다.

AI 에이전트의 통제 문제는 성능이 높아질수록 더욱 복잡해질 수 있다. AI가 인간이 예상하지 못한 방식으로 문제를 해결하는 능력이 커지는 동시에, 인간이 설계한 보안 장치의 허점도 찾아낼 수 있기 때문이다. 최 교수는 "가장 중요한 것은 통제할 수 있느냐의 문제"라며 "AI 에이전트의 행동을 예측하기 어렵고 언제 어떤 방식으로 통제 범위를 벗어날지 알 수 없다는 점이 핵심적인 위험"이라고 진단했다.

현재로서는 AI 에이전트의 통제 이탈을 원천적으로 차단할 뚜렷한 기술적 해법이 마련되지 않은 만큼, 기업의 보안 투자 확대와 외부 검증 체계 구축이 현실적인 대응책으로 꼽힌다. 다만 AI 에이전트가 인간이 예상하지 못한 방식으로 보안 취약점을 찾아내는 상황에서 기존의 자체 점검이나 체크리스트 중심 보안 인증만으로는 한계가 있다는 지적도 나온다.

정부 차원에서 레드팀(Red Team) 기반의 보안 검증을 제도화하는 것이 하나의 대책으로 언급된다. 레드팀은 보안 전문가가 공격자 역할을 맡아 시스템에 침투를 시도하고 이를 통해 취약점을 찾아내는 방식이다. 최 교수는 "정부가 금융·통신·국방 등 주요 보안 영역을 대상으로 24시간 공격자 관점에서 취약점을 점검하고, 발견된 문제를 기업이 개선하도록 하는 체계가 필요하다"며 "검증 결과와 취약점 개선 여부를 공개하도록 법률로 정하면 기업들도 보안 투자에 적극적으로 나설 수밖에 없을 것"이라고 강조했다.

결국 AI 에이전트는 성능이 뛰어난 만큼 위험도 함께 커지는 양날의 검이다. 연구와 검증이 충분히 이뤄지지 않은 상태에서 기업들이 수익성을 이유로 도입을 서두를 경우 예상하지 못한 문제가 발생할 수 있다. 앞으로 AI가 로봇 등 피지컬 AI와 결합해 자동차와 항공기, 잠수함 등 물리적 시스템에까지 적용되면 위험은 디지털 공간에만 머물지 않을 가능성도 커진다. AI의 성능을 높이는 경쟁만큼이나 인간이 설정한 권한과 규칙 안에서 작동하도록 하는 안전성 확보가 중요해진 이유다.