AI 산업이 지금까지 달려온 길에는 하나의 공리가 있었다. 더 크고 강한 모델이 더 나은 결과를 낸다. 이 전제 위에서 기업들은 비용 걱정 없이 최상위 모델을 선택했고, 빅랩들은 더 많은 컴퓨트와 더 큰 파라미터를 향해 경쟁했다. 그런데 이 공리가 흔들리기 시작했다.
법률 AI 스타트업 Harvey가 Fireworks AI와 협력해 진행한 실험이 그 신호탄이다. Claude Opus와 Fireworks의 GLM 5.1을 조합해 요청 강도에 따라 라우팅을 달리 설계했더니, 추론 비용이 3분의 1로 줄었다. 품질 손실은 없었다. 법무 업무처럼 오답 하나가 소송 결과를 바꿀 수 있는 분야에서 나온 결과다. Harvey 공동창업자 Gabe Pereyra는 "품질의 정의가 바뀌고 있다"고 말했다. 가장 강한 모델을 쓰는 것이 아니라, 정답을 가장 효율적으로 내는 모델을 쓰는 것이 새 기준이 된다는 뜻이다.
이 흐름을 오픈소스 대 독점 모델 구도로 읽는 시각이 있지만, TechCrunch Russell Brandom은 그게 핵심을 빗나간다고 짚는다. 진짜 분기점은 대형 모델 대 소형 모델이다. GPT-5.5에서 DeepSeek V4 Flash로 갈아타든, GPT-5.4-mini로 갈아타든 절감 효과는 크게 다르지 않다. 소형 모델 진영에서 누가 이기느냐보다, 소형이 대형을 얼마나 대체할 수 있느냐가 더 중요한 질문이다. Coinbase 공동창업자 Brian Armstrong은 X에서 "12~18개월 안에 AI 워크로드의 80%가 99% 저렴한 모델로 이동할 것"이라고 예측했다.
그러나 변수가 있다. 비용 압박이 반드시 소형 모델 채택으로 이어진다는 보장은 없다. 기업들은 API 호출 자체를 줄이거나, 컨텍스트를 압축하거나, 성과가 낮은 AI 배포를 정리하는 방식으로도 비용을 통제할 수 있다. 결정적인 것은 이 흐름이 OpenAI와 Anthropic에게는 IPO를 앞두고 맞닥뜨린 최대 변수라는 점이다. 투자자 보조금이 두텁게 깔려 있던 시절, 기업들은 가격 저항 없이 최상위 모델만 선택했다. 보조금이 줄고 토큰 가격이 오르는 지금, 기업들이 저가 모델로 이동한다면 그 절감분은 고스란히 빅랩 매출에서 빠져나간다. AI 산업의 '쓴 교훈(bitter lesson)'—더 많은 컴퓨트가 항상 답이다—이 통하던 시대의 균열이다. 스케일링 시대의 종말이 아니라, 어떤 작업에 어떤 크기의 모델을 쓸 것인지 설계하는 능력이 새 경쟁 무기가 되는 시대로의 전환이다.