AI가 지식 노동을 대신한다는 말은 이제 익숙합니다. 그런데 Artificial Analysis의 AA-Briefcase 벤치마크는 그 기대에 꽤 차가운 숫자를 붙였습니다. 1위 모델인 Claude Fable 5도 모든 기준을 만족해 과제를 완전히 해결한 비율이 3%에 그쳤습니다.
이 벤치마크가 흥미로운 이유는 문제 형식에 있습니다. 모델에게 깔끔하게 정리된 질문을 던지는 대신, Slack 스레드, 이메일, 회의록, 대형 데이터 export처럼 실제 회사 안에서 흩어져 있을 법한 자료 수천 개를 줍니다. 과제도 짧은 퀴즈가 아니라 몇 주짜리 지식 노동 프로젝트에 가깝게 설계됐습니다.
실패의 결도 모델 수준에 따라 달랐습니다. 약한 모델은 관련 파일을 찾지 못하거나 쓸 수 없는 결과물을 내놓는 식으로 눈에 띄게 실패합니다. 반면 강한 모델은 더 까다로운 방식으로 실패합니다. 눈앞의 요구사항은 맞추지만, 여러 소스를 함께 읽어야 드러나는 조건을 놓칩니다. 실무에서는 이런 결과가 더 위험할 수 있습니다. 겉보기에는 꽤 그럴듯하기 때문입니다.
91개 과제 중 31개에서는 어떤 모델도 50%를 넘기지 못했습니다. 비용 차이도 컸습니다. DeepSeek V4 Flash는 과제당 약 0.04달러 수준인 반면 Claude Fable 5는 31달러를 넘었습니다. 800배가 넘는 가격 차이가 나지만, 비싼 모델조차 완전 자동화라고 부르기에는 아직 거리가 있습니다.
이 결과를 AI의 패배로만 읽을 필요는 없습니다. 오히려 어디까지 맡기고 어디서 사람이 개입해야 하는지 더 선명해졌다고 보는 편이 맞습니다. 자료 탐색, 초안 작성, 누락 후보 정리에는 충분히 가치가 있습니다. 다만 여러 문서의 맥락을 이어 붙여야 하는 업무에서는 검수 구조가 제품의 일부가 되어야 합니다.
지식 노동 자동화의 다음 경쟁은 모델 호출 한 번으로 끝나는 마법이 아닐 가능성이 큽니다. 과제를 작게 나누고, 근거를 추적하고, 빠진 조건을 다시 묻고, 비용을 통제하는 방식이 성능만큼 중요해질 겁니다. AA-Briefcase가 보여준 3%라는 숫자는 AI를 쓰지 말라는 신호가 아니라, AI를 너무 쉽게 믿는 설계가 얼마나 빨리 무너질 수 있는지에 대한 경고에 가깝습니다.