Alibaba의 Qwen3.8 Max가 벤치마크에서 눈에 띄는 상승폭을 기록했다. Artificial Analysis Intelligence Index 점수는 56점으로, 이전 모델인 Qwen3.7 Max의 46점보다 10점 높다. Claude Opus 4.8과 같은 점수이며 GLM-5.2의 51점보다 앞선다. 다만 Kimi K3는 57점으로 한 점 더 높고, 비용도 더 낮다.
업무형 과제를 측정하는 GDPval-AA에서는 Qwen3.8 Max의 강점이 더 선명하다. 점수는 1,739 Elo로 Kimi K3의 1,685를 넘었다. Claude Opus 5의 1,852점만 이 결과를 앞선다. 복잡한 작업을 여러 단계로 나눠 처리하는 능력만 보면 Qwen의 개선은 꽤 크다.
하지만 성능 향상에는 운영비가 붙는다. 과제 하나를 해결하는 데 필요한 단계가 14개에서 64개로 늘었고, 각 단계에서 전체 대화 이력을 다시 모델에 전달한다. 그 결과 입력 토큰이 15배 증가했다. Alibaba는 입력 가격을 백만 토큰당 2.50달러에서 2달러로, 출력 가격을 7.50달러에서 6달러로 낮췄지만, Intelligence Index 과제 비용은 Qwen3.7 Max의 0.53달러에서 1.14달러로 올랐다. 토큰 단가 인하만으로 호출 구조의 무게를 상쇄하지 못한 셈이다.
비교 모델의 비용은 더 선명한 기준을 제공한다. Kimi K3는 57점을 과제당 0.86달러에 기록했고, GLM-5.2는 51점에 0.57달러였다. 따라서 Qwen3.8 Max는 최고 점수 경쟁에서는 좋은 위치에 있지만, 점수 대비 비용과 지연시간까지 포함하면 선택이 단순하지 않다. 대규모 에이전트 루프나 반복적인 문서 처리처럼 호출량이 많은 제품이라면 64단계 추론과 이력 재전송이 곧바로 비용 구조에 반영될 가능성이 크다.
품질 지표의 하락도 함께 봐야 한다. 긴 문서에서 정보를 통합하는 AA-LCR은 2점 떨어졌고, 지식 질문에 답하거나 모르면 모른다고 인정하는 AA-Omniscience는 10점 하락했다. 정확도는 약 31%로 비슷했지만 환각률은 23%에서 40%로 증가했다. 성능을 끌어올리는 과정에서 불확실성을 표현하는 능력이 약해졌다는 신호다.
Qwen3.8 Max를 검토하는 팀은 벤치마크 순위보다 실제 업무의 호출 흐름을 먼저 재현해야 한다. 과제당 추론 단계, 누적 입력 토큰, 평균 지연시간, 재시도와 검수에 드는 비용을 측정해야 한다. 복잡한 업무에서 얻는 1,739 Elo가 충분한 가치를 만들 수도 있지만, 단순 반복 업무에서는 더 싼 모델이 전체 파이프라인 성능을 앞설 수 있다. 이번 결과는 모델 선택이 점수표 한 줄이 아니라 운영 설계의 문제라는 사실을 보여준다.