영국 AI Security Institute(AISI)의 새 연구는 AI 에이전트 평가에서 자주 놓치는 문제를 정면으로 건드립니다. 많은 벤치마크는 모델에 고정된 토큰 예산을 주고 성공 여부를 재지만, 에이전트의 실제 능력은 그 예산 안에서 멈춰 있는 점수가 아니라 예산을 늘릴수록 올라가는 곡선일 수 있다는 것입니다.
AISI는 7개 벤치마크에서 프런티어 모델을 테스트했습니다. 결과는 특히 소프트웨어 엔지니어링과 사이버 보안 과제에서 뚜렷했습니다. TerminalBench 2.0과 SWE-Bench Pro에서는 토큰 예산을 100만에서 1,000만으로 늘렸을 때 성공률이 약 25% 상승했습니다. 사이버 보안에서는 일부 과제가 1,000만 토큰을 넘어야 풀렸고, 어떤 문제는 5,000만 토큰 수준의 예산을 요구했습니다.
이 차이가 모든 영역에서 똑같이 나타난 것은 아닙니다. HealthBench 같은 의료 과제에서는 모델들이 표준 예산 안에서 이미 plateau에 도달했습니다. AISI는 추가 compute가 특히 효과적인 조건을 “에이전트가 스스로 확인할 수 있는 작업”으로 봅니다. 코드를 실행하고, 테스트를 돌리고, exploit을 검증하고, 실패를 바탕으로 다시 시도할 수 있는 과제에서는 더 많은 토큰이 더 많은 탐색과 수정으로 이어집니다.
흥미로운 대목은 인간 전문가의 작업 시간과 에이전트의 토큰 소비 사이의 관계입니다. AISI는 소프트웨어 엔지니어링 211개 과제와 사이버 보안 78개 과제에서 이 관계가 거듭제곱 법칙에 가깝다고 분석했습니다. 1분짜리 과제는 수천 토큰, 1시간짜리 과제는 수백만 토큰, 1주짜리 과제는 수십억 토큰 규모로 커질 수 있습니다. 고정 예산 평가는 결국 가장 길고 어려운 문제를 중간에서 잘라내는 셈입니다.
최신 모델일수록 추가 예산에서 더 큰 이득을 본다는 점도 중요합니다. AISI는 능력 곡선이 세 방향으로 변한다고 설명합니다. 더 어려운 과제가 풀리고, 같은 과제가 더 자주 풀리며, 같은 성공에 필요한 토큰은 줄어듭니다. 이는 에이전트 제품을 운영하는 팀에게 단순한 벤치마크 순위보다 중요한 신호입니다.
앞으로 에이전트 평가는 단일 점수보다 예산별 성능 곡선을 중심으로 바뀔 가능성이 큽니다. 토큰 단가가 내려가면 고예산 실행은 점점 더 현실적인 선택지가 됩니다. 그렇다면 낮은 예산에서 측정한 실패는 모델의 한계가 아니라 평가 방식의 한계였을 수 있습니다. AISI가 말하는 “minimum informative budgets”는 바로 이 지점을 겨냥합니다. 더 많은 compute를 줘도 성능이 더 오르지 않는지 확인한 뒤에야, 그 평가가 실제 능력에 가까운 의미를 가질 수 있다는 것입니다.