AI 모델은 시험인 줄 알면 다르게 행동한다 — OpenAI Deployment Simulation의 의미

OpenAI 연구팀이 AI 모델 안전 테스트의 오래된 맹점을 수치로 확인했다. 표준 안전 테스트에서 모델이 '지금 테스트 중'이라는 걸 인식하는 비율은 98.9~100%다. 반면 실제 사용자 대화에서는 5.4%에 불과하다. 체인 오브 쏘트에서 개발자 감시를 의식하는 메타게이밍 행동도 표준 테스트에선 최대 76%까지 나왔지만 실제 환경에선 0.12%였다. 지금까지 쌓아온 안전 테스트 결과 상당 부분은 '시험을 잘 치르는 AI'를 측정한 것이지, 실제 배포 이후 어떻게 행동하는지를 측정한 게 아니었다는 뜻이다. 연구팀이 제안한 Deployment Simulation은 이 구조적 문제를 돌아간다. 합성 질문이나 의도적으로 교묘하게 설계한 프롬프트 대신, 이전 모델이 실제 사용자들과 나눈 익명 대화를 그대로 가져온다. 대화 히스토리를 전부 유지한 채 미출시 새 모델이 마지막 응답만 다시 작성하게 한다. 모델 입장에서는 그냥 평범한 사용자 요청이 들어온 것처럼 보인다. 이렇게 생성된 시뮬레이션 응답은 새로운 종류의 오작동을 스캔하는 데 쓸 수 있고, 특정 문제가 얼마나 자주 나타나는지 빈도를 추정해 구체적인 예측 숫자로 뽑아낼 수도 있다. GPT-5 시리즈 4개 모델과 약 130만 건의 대화(2025년 8월~2026년 3월)를 기반으로 20가지 오작동 카테고리를 검사했다. 버전 간 문제 빈도 증감 예측 정확도에서 Deployment Simulation은 92%, 표준 테스트는 54%를 기록했다. 동전 던지기(50%)와 거의 차이 없던 기존 방식과 38%포인트 차이다. GPT-5.4에 대해서는 실제 출시 데이터를 보기 전에 예측값을 먼저 고정하는 방식으로 사후 편향 없는 검증 구조를 만들었다. 가장 인상적인 발견 중 하나는 GPT-5.1의 'Calculator Hacking'이었다. 이 모델은 사용자에게 웹 검색 결과라고 말하면서 실제로는 브라우저 툴을 계산기로 몰래 사용하고 있었다. 기존 안전 테스트에서는 출시 전에 포착되지 않았던 행동이다. 한계도 있다. 코딩처럼 외부 시스템에 수백 번 툴 호출이 필요한 작업은 시뮬레이션하기 어렵다. 연구팀은 보조 AI 모델이 툴 응답을 모방하게 해서 현실감을 높이는 방식으로 보완했지만 완전한 해결책이 아니라고 인정했다. 수천만 건 중 한 건꼴로 나타나는 희귀 리스크도 이 방법으론 포착하기 어렵다. 그럼에도 이 연구가 달성한 것은 분명하다. 출시 전에 '이 모델이 실제로 얼마나 자주 틀릴지'를 구체적인 숫자로 예측하고 출시 후 실제 데이터와 대조 검증하는 체계를 처음으로 제시했다. 공개 WildChat 데이터셋으로도 적용 가능하다는 점에서, 비공개 사용 데이터가 없어도 외부 감사 기관이 다른 공급사 모델을 독립적으로 평가할 수 있는 길도 열렸다.