Princeton 연구진의 CEO-Bench는 AI 에이전트에게 가상의 구독형 소프트웨어 회사 NovaMind를 맡기는 실험이다. 시작 조건은 현금 100만 달러와 고객 0명. 에이전트는 500일 동안 회사를 운영하며 가격, 광고, R&D, 인프라, 고객지원, 엔터프라이즈 협상까지 결정해야 한다. 도구 환경도 단순한 채팅이 아니다. Python API 34개 도구와 19개 테이블짜리 데이터베이스를 다루며, SQL과 코드로 직접 워크플로를 만들어야 한다.
결과는 현재 AI 에이전트의 한계를 꽤 선명하게 보여준다. 14개 모델 중 시작 자본보다 많은 현금을 남긴 모델은 Claude Fable 5, Claude Opus 4.8, GPT-5.5 세 개뿐이었다. 최고 성적은 Fable 5의 4,715만 달러였고, Opus 4.8은 2,780만 달러, GPT-5.5는 2,130만 달러를 기록했다. 하지만 GPT-5.5는 세 번 중 두 번 파산했고, Fable 5의 일부 실행에는 중단과 fallback이라는 단서가 붙는다.
가장 불편한 비교 대상은 언어모델이 아니라 규칙 기반 휴리스틱이다. 이 휴리스틱은 고정 가격과 티어, 특정 고객 세그먼트에 집중한 광고, 최근 사용량에 따른 capacity 조정 같은 단순한 규칙만으로 1,576만 달러를 남겼다. 대부분의 최신 모델보다 좋은 성적이다. 연구진이 추정한 이 환경의 상한이 약 22억 달러라는 점을 생각하면, 최고 모델조차 아직 훨씬 낮은 지점에 머물러 있다.
CEO-Bench가 어려운 이유는 도구 호출 자체가 복잡해서가 아니다. 피드백이 늦고, 상태가 숨겨져 있으며, 세상이 계속 바뀌기 때문이다. 광고비와 인프라 비용은 바로 빠져나가지만, 매출은 청구일에 들어온다. R&D의 효과는 며칠에서 몇 주 뒤에 나타난다. 고객 만족도나 지불 의향은 직접 보이지 않고, 해지율, 지원 티켓, 소셜 네트워크 반응 같은 불완전한 신호로 추정해야 한다.
상위 모델의 행동에는 가능성도 보인다. Opus 4.8은 고객 cohort를 예측하는 내부 시뮬레이션을 만들었고, GPT-5.5는 협상 이력 데이터베이스를 분석해 숨은 고객 선호를 찾아냈다. 성공과 상관관계가 있었던 능력도 분명했다. 숨은 정보 발견, 4주 현금흐름 예측, 경쟁사 변화 감지, if-then 형태의 사전 계획이 평균보다 강했다.
다만 이 실험의 결론은 낙관보다 설계 숙제를 향한다. AI 에이전트가 짧은 작업에서 점점 좋아지는 것은 사실이지만, 장기 운영에서는 여러 선택을 서로 충돌하지 않게 누적하는 능력이 필요하다. 업무용 에이전트를 만들거나 평가한다면 단일 작업 성공률만 볼 수 없다. 지연된 보상, 제한된 예산, 숨은 상태, 환경 변화, 규칙 기반 baseline까지 함께 넣어야 실제 운영에 가까운 성능을 볼 수 있다.