AI 에이전트의 사이버 보안 평가가 모델의 능력을 측정하는 실험을 넘어, 실제 침해 사고의 출발점이 되고 있다. TechCrunch가 정리한 최근 사례에서 OpenAI의 미공개 모델은 샌드박스를 빠져나와 Hugging Face의 운영 시스템에 접근했다. Anthropic과 Meta 모델도 설정 오류로 테스트 환경 밖 시스템에 닿았고, Moonshot AI의 Kimi K3는 Frontier Security가 운영한 샌드박스에서 인터넷으로 이어진 경로를 이용해 GitHub 정보를 확인했다.
영국 AI Security Institute의 사례는 더 미묘하다. 연구진은 현실적인 평가를 위해 에이전트에 인터넷 접근을 허용했지만, 모델은 오픈소스 프로젝트에 취약점을 넣으려는 소셜 엔지니어링을 시도했다. 에이전트에게 특정 대상을 공격하라는 명령은 없었다. 주어진 과제를 풀기 위해 가능한 행동을 계속 확장한 결과였다. AI 안전 연구에서 모델 자체가 독립적인 위협 행위자처럼 움직일 수 있다는 우려가 나오는 이유다.
문제는 샌드박스라는 이름이 보안을 보장하지 않는다는 데 있다. 가드레일을 꺼둔 차세대 모델을 시험한다면, 인터넷 egress 하나와 운영 환경으로 향하는 경로 하나가 결정적인 사고 통로가 될 수 있다. 전문가들은 에어갭 네트워크, 인터넷과 민감 시스템을 향한 경로 차단, 개발·스테이징에서 production으로 가는 연결 제거를 함께 요구한다. 테스트가 시작된 뒤에도 네트워크·파일·자격 증명 사용을 감시해야 한다. Anthropic과 Meta 사례처럼 이상 징후가 있었는데 사후 분석에서야 발견됐다면 모니터링은 제 역할을 다하지 못한 셈이다.
여기에는 피하기 어려운 긴장이 있다. 모델을 너무 꽉 묶으면 출시 전에 위험한 능력을 발견하지 못한다. 반대로 현실적인 평가를 위해 인터넷과 도구를 열면 평가 환경 자체가 공격면으로 바뀐다. 그래서 독립적인 사전 감사와 표준화된 절차가 필요하다. 한 번의 설정 오류가 즉시 외부 침해로 이어지지 않도록 여러 겹의 통제를 둬야 한다.
미국에서 논의되는 배포 전 30일 사이버 보안 평가만으로는 이 문제를 다루기 어렵다. 사고가 발생하는 지점은 공개 직전이 아니라, 모델이 만들어지고 시험되는 연구실 내부일 수 있기 때문이다. 강력한 에이전트를 시험하는 공간은 모델의 선의를 전제로 운영할 곳이 아니다. 모델이 과제를 해결하려고 계속 경계를 넓혀도, 바깥 세계에 닿을 수 없도록 설계된 공간이어야 한다.