구글 딥마인드가 외부 학계로 1,000만 달러를 풀었다. 자사 모델 성능 향상이 아니라, 수백만 개의 AI 에이전트가 온라인에서 서로 상호작용할 때 무슨 일이 벌어지는지를 연구하라는 펀딩이다. 파트너는 Schmidt Sciences, 영국 정부의 moonshot 기관 ARIA, Cooperative AI 재단, Google.org. 회사의 AGI safety·alignment 책임자 Rohin Shah는 이 영역을 "아직 연구 분야조차 존재하지 않는다"고 솔직하게 말한다.
Shah가 정의하는 위험은 거대 서사가 아니다. 한 에이전트가 다른 에이전트의 지시를 받아 사람 감독 없이 일을 처리하는 순간, 우리가 지금 인터넷에서 보는 나쁜 일들이 "에이전트 버전"으로 증폭된다는 것이다. 문서 한 줄에 묻힌 프롬프트 인젝션이 에이전트를 자율 멀웨어로 바꾸고, 사기와 사이버 공격이 떼지어 움직이는 모델 사이를 타고 흐른다. Schmidt Sciences의 James Fox는 "디지털 커먼즈가 무정부 상태로 떨어지지 않게 하는 것"이라고 목표를 잡는다. 거버넌스 언어다.
방법론 쪽이 이 펀딩의 진짜 색깔을 드러낸다. 두 사람 모두, 단일 에이전트나 소수 그룹을 아무리 정밀하게 뜯어봐도 다수가 동시에 상호작용할 때의 거동은 예측할 수 없다고 본다. 그래서 처방은 "샌드박스에 에이전트들을 풀어놓고 시뮬레이션하기"다. LLM 기반 에이전트가 항상 합리적으로 행동한다는 가정은 버려야 한다는 것이 Fox의 입장. 같은 딥마인드 내부에서는 AGI가 단일 초지능이 아니라 일종의 "agent hive mind"에서 창발할 수 있다는 시각도 나와 있으니, 이번 펀딩은 그 가설을 안전 쪽에서 거꾸로 점검하는 장치이기도 하다.
보안 업계의 반응도 같은 방향을 가리킨다. Akeyless 공동창업자 겸 CTO Refael Angel은 과거 모든 보안 모델이 "기계는 사람이 짠 소프트웨어이고, 고정된 경로로 고정된 일을 한다"는 전제 위에 서 있었다고 지적한다. 에이전트는 추론하고, 즉흥적으로 행동하고, 읽으라고 준 문서 안의 한 문장에 납치된다. 가정이 통째로 무너진다는 얘기다. Anthropic이 며칠 전 발표한 에이전트 zero-trust 가이드라인—시스템은 취약하고, 에이전트는 잠재 공격자이며, 침해는 발생한다고 전제하는 접근—도 같은 흐름에 놓인다.
가장 인상적인 비대칭은 시점이다. Shah는 에이전트가 경제 전반에 깔리기까지 "몇 달" 남았다고 본다. 그러면서 학계에 분야 자체를 만들어 달라고 외부 자금을 푼다. 6개월짜리 위협 모델과 분야 부트스트랩의 시간 단위가 다르다는 사실을, 발표자 본인이 인정하고 있는 셈이다. Angel이 덧붙인 경고처럼 안전 연구자들이 화려한 가설에 쏠려 "이미 와 있는 지루한 문제"를 놓치지 않는다면, 이 $10M은 작지만 정직한 시그널이 될 수 있다.