[이영환의 에이전틱 이코노미③] 가짜 판례와 77건의 오보: 멀티 에이전트로 통제하라

이영환 크레페 펀드 대표이사

지난 칼럼에서 필자는 "AI는 유창한 거짓말쟁이"라고 경고했다. 이 명백한 사실을 간과하고 AI의 유창함만을 맹신하는 사람들은 결국 가차 없는 배반을 당하게 된다. 미국 뉴욕 맨해튼 연방법원, 로베르토 마타(Roberto Mata)가 아비앙카 항공을 상대로 낸 소송에서 법조계를 발칵 뒤집은 황당한 사건이 벌어졌다. 원고 측 변호사인 스티븐 슈워츠가 챗GPT를 이용해 제출한 준비서면 속 판례들이 모두 '가짜'로 밝혀진 것이다. 챗GPT는 '바기즈 대 중국남방항공' 등 존재하지도 않는 6건의 판례와 재판부의 판결문까지 그럴듯하게 지어냈고, 변호사는 이 유창한 거짓말을 맹신했다가 결국 법원으로부터 징계를 받았다.

이는 비단 법조계만의 일이 아니다. 미국의 유명 IT 뉴스 매체인 CNET은 AI를 활용해 금융·경제 기사를 작성했다가, 무려 77건의 기사에서 치명적인 오류가 발견되어 대규모 정정보도를 내야 했다. AI는 복리 이자 계산이나 대출 상환액 같은 아주 기초적인 사실조차 틀렸지만, 문장만큼은 금융 전문가처럼 매끄럽고 확신에 차 있었다.

◇ 진화하는 환각, 피할 수 없다면 '멀티 에이전트'로 검증하라

인과관계를 모른 채 확률적으로 단어를 조합하여 거짓을 만들어내는 '환각(Hallucination)' 현상은 AI의 구조적인 맹점이다. 혹자는 기술이 발전하면 이러한 환각 현상도 자연스레 줄어들 것으로 낙관한다. 그러나 이는 착각이다. 환각은 생성형 인공지능의 태생적 특성이므로, AI가 고도화될수록 환각 역시 점점 더 정밀하고 교묘한 형태로 진화하도록 설계되어 있다.

그렇다면 다가오는 에이전틱 이코노미 시대에, 우리는 이 위험한 에이전트에게 어떻게 비즈니스와 결제를 맡기고 치밀하게 협력하는 '공동 지능(Co-Intelligence)'의 시대로 진입할 수 있을까?

그 해답은 바로 '멀티 에이전트(Multi-Agent)' 기반의 분야별 상호 검증 시스템을 구축하는 데 있다. 한 명의 만능 AI에게 모든 권한을 맡기는 것은 슈워츠 변호사처럼 눈을 가리고 절벽을 걷는 것과 같다. 대신, 특정한 목적과 전문성을 가진 여러 AI 에이전트를 투입해 서로를 감시하고 검증하게 만들어야 한다.
예를 들어, 법률 리서치 작업을 지시할 때 다중 에이전트 시스템은 다음과 같이 작동한다.

① 생성 에이전트 (Generator Agent): 방대한 데이터를 바탕으로 초안을 작성한다.
② 팩트체크 에이전트 (Fact-checker Agent): 생성된 초안의 판례 번호와 인용구를 실제 국가 법령 정보 센터나 판례 데이터베이스에 접속해 교차 검증한다.
③ 비평 에이전트 (Critic Agent): 팩트가 확인된 문서라도, 논리적 모순이나 편향성이 없는지 상대방 변호사의 입장이 되어 '레드팀(Red Team)' 역할을 수행하며 허점을 공격한다.

이렇게 각 분야에 특화된 에이전트들이 치열한 '티키타카'를 거쳐 스스로 환각을 걸러낸 결과물만을 최종 책임자인 인간에게 가져오도록 설계하는 것이다. 이때 핵심 노하우는 다중 에이전트들이 되도록 빠르게 의견을 교환하고, 일찌감치 '의견 충돌'을 일으키도록 유도하는 것이다. 시스템 내부의 치열한 논쟁과 충돌이 빠를수록, 최종 결과물의 오류는 기적처럼 줄어든다.

◇ AI 에이전트가 당신의 재산관리인이 될 수 있을까?

멀티 에이전트가 아무리 훌륭하게 작동하더라도, 최종적인 오케스트라의 지휘자는 인간이다. 인간은 AI가 엉뚱한 목적을 추구(보상 해킹)하지 않도록 끊임없이 의심하고, 각 에이전트의 역할과 권한을 엄격하게 설계해야 한다.

이제 질문을 던져보자. 이러한 철저한 통제를 통해 AI 에이전트가 환각에 빠질 확률을 최소화할 수 있다면, 당신은 재산관리인으로 AI 에이전트를 고용할 수 있겠는가?
이는 마치 자동차의 운전대를 인공지능에게 맡기는 자율주행의 이치와 같다. 최근 구글 웨이모(Waymo)와 스위스 재보험(Swiss Re)이 발표한 공동 연구 보고서는 우리에게 놀라운 시사점을 준다. 2,000억 마일 이상의 인간 주행 데이터와 웨이모의 무인 주행 데이터를 비교 분석한 결과, 자율주행 AI가 중상 이상의 인명 사고를 일으킬 확률은 인간 운전자 대비 무려 92%나 낮았다. 즉, AI가 인간보다 12.5배 더 안전하다.

심지어 대물 사고 청구율 또한 88%나 낮았으며, 최신 안전 장치가 탑재된 최신 차량을 운전하는 인간과 비교해도 AI의 사고율은 10분의 1 수준에 불과했다. 이 압도적인 수치는 AI가 완벽해서가 아니라, 인간의 인지적 오류를 뛰어넘는 다중 센서와 시스템의 교차 검증이 환각(사고)의 확률을 '인간의 실수'보다 훨씬 낮은 수준으로 억제했기 때문에 가능했다.

AI의 한계를 명확히 인지하고, 환각을 제어하는 시스템을 구축하여 그 잠재력을 극대화하는 것, 이 비판적 사고력을 바탕으로 진정한 '공동 지능'을 이루어 내는 자만이 다가오는 에이전틱 이코노미 시대의 승자가 될 것이다. 당신의 비즈니스 운전대를 AI에게 맡길 준비가 되었는가? 핵심은 AI를 믿는 것이 아니라, AI를 '검증하는 시스템'을 믿는 것이다. /이영환 (크레페 펀드 대표이사)