AI 검색 에이전트의 실패를 보통 검색 품질 문제로 설명하지만, DiscoBench가 보여준 병목은 조금 다르다. 검색을 못해서가 아니라, 질문이 애매할 때 사용자에게 되묻지 못해서 틀린다. 특히 다단계 리서치에서는 초반의 작은 오해가 뒤쪽 검색 전체를 잘못된 방향으로 끌고 간다.
Tencent Hunyuan과 Tsinghua University 팀이 만든 DiscoBench는 이 문제를 테스트하기 위해 211개 태스크 안에 463개의 모호한 지점을 넣었다. 게임, 스포츠, 음악, 영화, 과학, 정치 등 11개 도메인에서 에이전트는 각 체크포인트마다 계속 검색할지, 사용자에게 확인 질문을 할지, 답을 낼지 선택해야 한다. 기존 GAIA나 BrowseComp가 완성된 질문을 전제로 했다면, DiscoBench는 현실의 흐릿한 질문을 더 가깝게 흉내 낸다.
결과는 꽤 냉정하다. 명시적으로 모호성을 알려주지 않은 조건에서 Doubao Seed 2.0 Pro가 43.1%로 가장 높았고, Gemini 3.1 Pro는 40.8%, Claude Opus 4.7은 39.8%였다. 최고 모델도 절반을 넘지 못했다. 반대로 모호성을 제거하면 정확도는 모델에 따라 26.8~40.2포인트까지 뛰었다. 검색 도구가 없을 때는 성능이 더 크게 무너졌지만, 검색 도구만으로도 문제는 해결되지 않았다.
가장 중요한 대목은 행동 분석이다. 먼저 검색한 뒤 모호성이 확인되면 사용자에게 묻는 SearchThenAsk 패턴은 평균 성공률 93.4%를 기록했다. 묻지 않고 찍는 DirectGuess는 56.5%였다. 그런데 검색을 반복하고도 끝내 질문하지 않는 SearchHeavyGuess는 51.9%로 더 낮았다. 더 많은 검색 호출이 더 좋은 답을 보장하지 않는다는 뜻이다. 오히려 애매함을 해결하지 못한 검색은 오류를 더 멀리 운반한다.
운영 파이프라인 관점에서 보면, AI 검색 에이전트에는 검색 API와 긴 컨텍스트만큼이나 clarification 정책이 필요하다. 후보 엔티티가 여러 개일 때, 시점이나 버전이 빠졌을 때, 평가 기준이 불명확할 때 시스템은 답을 서두르기보다 짧고 정확한 질문을 던질 수 있어야 한다. 프롬프트에 "모호하면 질문하라"고 쓰는 것만으로는 부족했다. Guided 모드에서 Detection F1은 크게 올랐지만 전체 정확도 상승은 제한적이었다.
결국 좋은 검색 에이전트는 많이 찾는 에이전트가 아니라, 언제 검색을 멈추고 물어봐야 하는지 아는 에이전트다. 이 차이는 데모에서는 잘 보이지 않지만, 실제 업무 리서치에서는 비용과 신뢰도를 가르는 지점이 된다.