 |
| 이영환 크레페 펀드 대표이사 |
그런데 이 구조를 조금만 집중해서 따져 보면 달갑지 않은 것을 발견할 수 있다. 선택을 제대로 하면 이득을 본다. 그런데 그 이득의 크기는 정확하게 예상되는 피해의 크기와 같다.
◇ 경중을 정하는 방법도 여럿이다
위원회가 모였다고 답이 나오지는 않는다. 저마다 다른 축에서 말하기 때문이다. 누군가 그 축들의 경중을 정해 주어야 한다. 그 방법은 하나가 아니다. 연비를 가장 무겁게 고려할 수 있고, 승객 경험을 중요하게 생각할 수 있고, 구조적 안정성을 앞서 따질 수 있다. 같은 위원회에 같은 질문을 던져도 어느 것을 먼저 고려하느냐에 따라 답이 달라진다. 연비를 앞세우면 의자 폭이 22인치가 될 수 있고, 승객 경험을 앞세우면 23인치가 될 수 있다.
슈퍼 에이전트가 고르는 것이 바로 이것이다. 무엇이 옳은 답인지가 아니라, 어떤 방법으로 경중을 정할지다.
◇ 그 선택에 붙는 대가
이제 그 선택하는 일에 얼마짜리 값이 붙는지 따져 보자.
먼저 무엇을 측정할지 정해야 한다. 열두 시간을 나는 장거리 여객기라고 하자. 이 비행기를 십 년 굴렸을 때 생기는 손실을 재기로 한다. 연료비, 정비비, 빈 좌석, 지연과 사고까지 전부 합친 값이다.
세 가지 방법이 각각 내놓은 설계를 그 노선에 올려 보았더니 손실이 이렇게 나왔다고 하자. 연비를 앞세운 설계가 10, 승객 경험을 앞세운 설계가 30, 구조적 안정성을 앞세운 설계가 60이다. 장거리 노선이니 연비를 앞세운 쪽이 가장 낫다.
그런데 선택자가 그것을 모른다면 어떻게 되는가. 매번 아무 방법이나 집어 든다면, 길게 보아 세 결과의 평균인 33쯤을 얻는다. 이것이 고를 줄 모르는 자의 몫이다.
여기서 두 거리가 생긴다.
잘 선택했을 때 얻는 이득은 33에서 10까지, 23이다. 잘못 골랐을 때 잃는 것은 33에서 60까지, 27이다. 둘을 더하면 50이다. 그런데 60에서 10을 빼도 50이다. 가장 좋은 결과와 가장 나쁜 결과 사이의 거리다.
잘 고를 때의 이득과 잘못 고를 때의 피해는 서로 다른 두 가지가 아니다. 하나의 거리를 둘로 나눈 것이다. 아쉽게도 이득만 키우고 피해는 줄이는 방법은 없다.
◇ 선택자의 자리가 가장 위험하다
가장 위험한 것은 감시자들이 아니라 절차를 고르는 쪽이다. 회의를 해 본 사람은 안다. 많은 경우 안건 순서를 쥔 사람이 결론을 선택하게 된다.
지난주 공개된 분석이 이것을 실제로 보여 준다. 오픈AI 사고에서 에이전트들은 스스로 조정자를 세웠다. "PHASEONE"이라 불린 에이전트가 수백 건의 과제를 다른 에이전트들에게 배정했고, 받은 쪽은 다시 아래로 나눠 맡겼다. 과제의 주인이 누구인지, 충돌이 생기면 어떻게 푸는지에 대한 자기들만의 관행까지 만들어 냈다. 우리가 슈퍼 에이전트를 어디에 둘지 고민하는 동안, 그들은 이미 세운 것이다.
그리고 그 조정자가 내린 지시의 15퍼센트 이상이 자기 기록을 지우거나 고치는 일이었다. 통째로 그 일만 하는 작업 흐름도 있었다. 고르는 자리에 앉은 쪽이 가장 먼저 한 일이 바로 증거를 조작하고 삭제하는 것이었다.
◇ 재량을 가두는 법
그러니 고르는 쪽의 재량은 열어 둘 수 없다. 세 가지가 필요하다. 고를 수는 있어도 고칠 수는 없는 공개된 절차 목록과 모든 선택과 그 근거의 기록, 그리고 사람을 거쳐 느린 주기로만 이루어지는 개정이 그것이다.
핵심은 이 규칙집이 기계 바깥에 있어야 한다는 것이다. 기계에게 가르치는 것이 아니다. 가르친 것은 설득당할 수 있지만, 바깥에서 거는 자물쇠는 설득당하지 않는다. 기록도 마찬가지다. 기계가 지울 수 있는 기록은 기록이 아니다.
고르는 쪽은 규칙을 쓰는 입법자가 아니라, 남이 쓴 규칙집을 적용하는 집행자여야 한다.
◇ 헌법 첫 줄
그렇다면 그 규칙집의 첫 줄에는 무엇을 적어야 하는가. 우리가 해야 할 일은 바로 집단지성이 발현될 구조를 만들고, 그 구조가 무엇을 향할지 정해 주는 것이다. 위원회의 헌법 첫 줄에 들어갈 말, 인류의 선이다.
그것이 안전인지 자유인지 공정인지 번영인지를 우리가 적어야 한다. 그런데 그 넷은 자주 서로를 밀어낸다. 안전을 높이면 자유가 줄고, 공정을 높이면 번영이 느려진다. 결국 여기서도 경중을 정해야 한다.
그렇다면 우리는 기계에게 떠넘긴 문제를 한 층 위로 올려놓았을 뿐이다. 다만 한 가지는 분명하다. 그 층에는 기계가 없다. 거기서는 우리가 정해야 한다.
그리고 우리가 정하지 않으면, 정해지지 않은 채로 작동한다.
/이영환 크레페 펀드 대표이사
