|
이러한 '에이전트 경제'로의 전환은 이미 거스를 수 없는 흐름이다. 글로벌 IT 기업들은 앞다투어 자율형 AI 서비스를 출시하고 있으며, 주요 기업용 소프트웨어에도 관련 기능이 빠르게 탑재되고 있다. 인간의 개입 없이 업무를 수행하는 이 자율적 존재들은 전례 없는 생산성 혁명을 예고하지만, 동시에 우리는 '책임의 공백'이라는 새로운 난제와 마주하고 있다. 과거의 자동화가 정해진 규칙에 따라 움직였다면, 에이전틱 AI는 예상치 못한 방식으로 목표를 달성하려 할 수 있기 때문이다.
문제는 명확하다. AI가 자율적으로 행동하기 시작할 때, 사고가 발생하면 과연 누가 책임을 져야 하는가. AI의 자율성이 높아질수록 책임의 소재는 불분명해진다.
기존 소프트웨어가 인간의 명령을 수행하는 '도구'였다면, 에이전틱 AI는 스스로 최적의 경로를 선택하는 '대리인'에 점차 가까워질 수 있다. 만약 AI의 독자적 결정이 타인에게 재산상 혹은 신체상 피해를 입혔다면, 그 책임은 개발사에 있는가, 아니면 서비스를 이용한 사용자에게 있는가. 또한 이를 단순한 기계적 결함으로 볼 것인지, 아니면 과실로 볼 것인지에 대한 규정도 모호하다.
이미 현실에서는 경고음이 울리고 있다. 지난해 캐나다 법원은 에어캐나다(Air Canada)의 챗봇이 유가족 할인 규정을 잘못 안내한 사건에 대해 의미 있는 판결을 내렸다. 항공사는 챗봇의 오류에 대한 책임을 부인했으나, 법원은 "챗봇 역시 회사의 대리인이며 그 정보에 대한 책임은 회사에 있다"고 못 박았다.
전문직 영역에서의 리스크 역시 치명적일 수 있다. 2023년 미국에서는 생성형 AI가 조작해 낸 '가짜 판례'를 검증 없이 법원에 제출한 변호사들이 제재를 받은 사건(Mata v. Avianca)이 발생했다.
또한 미국 연방거래위원회(FTC)는 최근 AI가 전문 변호사를 대체할 수 있는 것처럼 광고한 '도낫페이(DoNotPay)' 사건을 제재하며 기술의 과장된 만능주의를 경계했다. 이는 자율성이 강해질수록 허위 정보가 실제 집행으로 이어질 위험이 크며, 법적·제도적 리스크 역시 함께 커짐을 보여준다.
과거에는 인간이 모든 과정에 개입하는 '휴먼 인 더 루프(Human-in-the-loop)'가 원칙이었다. 그러나 에이전트 시대에는 인간이 결과만 감독하는 '휴먼 온 더 루프(Human-on-the-loop)' 구조가 확산되고 있다. 문제는 방대한 데이터를 실시간 처리하는 AI의 판단을 인간이 완벽히 검증하기란 사실상 불가능하다는 점이다.
사고 발생 시 "AI의 판단이었다"는 사용자와 "허용 범위 내 작동이었다"는 개발사 간 공방이 예상된다. 결국 '통제할 수 없는 대리인'을 둔 인간의 책임 범위가 어디까지인가가 쟁점이 될 것이다.
기술 수용도가 높고 디지털 의존도가 세계 최고 수준인 한국에서 이 문제는 더욱 각별한 의미를 갖는다. 특히 신뢰가 핵심인 금융권에서 AI 에이전트 도입은 양날의 검이다. 초단위 자율 매매 과정에서 발생한 알고리즘 오류는 개인의 손실을 넘어 금융 시스템 전체의 리스크로 번질 수 있다. 한국 특유의 촘촘한 디지털 결제망은 사고 시 연쇄적 파급력을 키우는 독이 될 수도 있다.
의료 분야 역시 마찬가지다. 향후 AI 에이전트가 환자 상태를 실시간으로 모니터링하고 약물 투여까지 조절하게 된다면, 이는 단순한 '진단 보조'를 넘어 사실상의 '의료 행위'가 된다. 이때의 오작동을 의료진의 관리 책임으로 볼 것인지, 시스템 결함으로 볼 것인지, 아니면 각 주체에 어떠한 기준으로 책임을 분담시킬지에 대한 사회적 합의가 필요할 수 있다.
결국 우리는 AI 에이전트의 행동을 최종 승인하고 책임지는 '법적 책임 주체'를 명확히 결정해야 한다. 사용자에게만 책임을 지우면 개발사의 AI 안전 및 오류 검증에 관한 투자가 소홀해질 수 있고, 개발사에만 책임을 물으면 AI 산업 자체의 발전이 위축될 수 있다.
영리 목적인 기업과 일반 개인에게 동일한 잣대를 적용할 것인지, 예측 불가능한 피해에 대해 어디까지 책임 한도를 설정할 것인지에 대한 고민이 필요하다. 아울러 AI 리스크를 담보하는 전문 보험 체계나, 사고 시 피해자를 우선 구제하는 기금 조성 등의 제도적 안전망도 함께 논의되어야 한다.
AI 시대에 필요한 것은 기술 경쟁만이 아니다. AI 에이전트가 인간의 능력을 증폭시키는 만큼, 우리가 짊어져야 할 책임의 무게도 함께 커질 수밖에 없다. 한국이 진정한 AI 선도국으로 도약하기 위해서는 기술력만큼이나 그 기술을 책임 있게 통제하고 운영할 수 있는 알고리즘 거버넌스 체계에 대한 고민도 함께 이루어져야 할 것이다. 혁신의 속도와 책임의 무게가 균형을 이룰 때 비로소 우리는 AI와 안전하게 공존할 수 있다.
홍순만 연세대 국가관리연구원장
※본란의 칼럼은 본지 견해와 다를 수 있습니다.
