구글 딥마인드 AGI 안전팀의 Rohin Shah가 최근 한 발언은 AI 업계 관계자라면 한 번쯤 멈춰야 할 내용이다: '멀티에이전트 안전성이라는 연구 분야가 아직 없습니다. 우리는 그 분야가 생기길 원합니다.' 딥마인드는 슈미트 사이언시스, 영국 정부의 무샷 연구기관 ARIA, Cooperative AI Foundation, Google.org와 함께 1,000만 달러 규모의 연구 펀드를 조성했다. 목적은 단순하고 절박하다 — 아직 일어나지 않은 문제를 연구할 학자들을, 그 문제가 현실이 되기 전에 모으는 것이다.
Shah가 경계하는 위협들은 대부분 우리가 이미 아는 것들의 확장판이다. 스캠, 사이버공격, 프롬프트 인젝션. 차이는 에이전트가 중간에 낀다는 점이다. 에이전트가 읽도록 설계된 문서 안에 악성 명령 한 줄이 숨겨져 있으면, 그 에이전트는 자율 멀웨어가 된다. 납치된 에이전트가 또 다른 에이전트에게 지시를 내리면, 감염은 인간의 개입 없이 연쇄된다. 보안 기업 Akeyless의 CTO Refael Angel은 이렇게 정리한다: '과거의 모든 보안 아키텍처는 기계가 고정된 경로로 고정된 일을 한다는 가정 위에 세워졌다. 에이전트는 추론하고, 즉흥 행동하고, 건네받은 문서 한 장 속 문장 하나로 납치당할 수 있다. 그 전제 전체를 깨뜨린다.'
해법의 방향은 크게 두 갈래다. Anthropic은 이미 에이전트 배포 지침으로 제로 트러스트 원칙을 공개했다 — 시스템이 이미 공격받고 있다는 가정에서 설계를 시작하는 사이버보안 철학이다. 딥마인드와 슈미트 사이언시스의 James Fox가 공통으로 주문하는 건 대규모 샌드박스 시뮬레이션이다. 수십만 개의 에이전트를 가상 환경에 풀어놓고 집단 역학을 관찰하는 방식. 소규모 실험으로는 예측 불가능한 창발적 행동이 규모 자체에서 나오기 때문이다. Shah의 비유가 설득력 있다: '인류의 제도는 어떤 개인도 혼자 할 수 없는 일을 해낸다.' 에이전트 집단도 같은 논리로 단일 모델이 닿지 못하는 능력과 위험을 동시에 만들어낼 수 있다. 실제로 딥마인드 내부에서도 AGI가 단일 초지능 모델이 아니라 에이전트 집단의 창발적 역량에서 나올 수 있다는 연구가 진행 중이다.
1,000만 달러는 딥마인드 자체 연구 예산과 비교하면 작다. 하지만 Shah가 진짜 원하는 건 돈의 규모가 아니라 타이밍이다. '아카데미아의 강점은 산업 랩이 당장 신경 쓰지 않는 훨씬 먼 미래를 볼 수 있다는 것'이라는 그의 말은 자기 고백에 가깝다 — 딥마인드조차 자신들이 볼 수 없는 시간대를 학계에 위임하겠다는 것이다. Shah의 타임라인에 따르면 에이전트가 경제 전반에 충분히 퍼지기까지는 몇 달이 남았다. '올해 말 경제 붕괴 같은 시나리오를 생각하느냐'는 질문에 그는 웃으며 답했다: '올해 말은 아닙니다. 그보다 조금 더 뒤겠죠.' 여유 있어 보이는 그 답변이 오히려 이 펀드의 긴박함을 설명한다.