Sina Weibo가 공개한 VibeThinker-3B는 작은 모델 논쟁을 꽤 구체적인 방향으로 밀어붙인다. 이 모델은 30억 파라미터 규모에 불과하지만, 수학과 코딩 벤치마크에서는 DeepSeek V3.2, Kimi K2.5, GLM-5, Gemini 3 Pro 같은 훨씬 큰 모델들과 비슷한 성능대에 들어간다. 기사에 따르면 비교 대상 중 일부는 파라미터가 200~333배 크다.
이 결과의 중심에는 모델 크기가 아니라 후반 훈련 파이프라인이 있다. VibeThinker-3B는 Alibaba의 Qwen2.5-Coder-3B를 기반으로 하며, Sina의 기여는 multi-stage post-training이다. 먼저 수학, 코딩, 일반 대화 데이터를 통한 supervised fine-tuning을 거치고, 이후 어려운 다단계 추론 문제에 맞춘다. 그 다음 수학, 프로그래밍, STEM 순서로 강화학습을 적용하고, self-distillation으로 각 단계의 능력을 하나의 모델에 통합한 뒤 instruction following을 보강한다.
흥미로운 점은 성능 향상이 모든 영역에 똑같이 나타나지 않는다는 것이다. 수학 올림피아드형 문제나 프로그래밍 챌린지처럼 정답을 검증할 수 있는 과제에서는 작은 모델도 매우 강해진다. 훈련이 끝난 뒤 열린 LeetCode contest 문제 128개 중 123개를 첫 시도에 풀었다는 결과는, 단순 벤치마크 암기 의심을 줄이기 위한 중요한 근거로 제시된다.
반면 GPQA-Diamond처럼 폭넓은 사실 지식이 필요한 평가에서는 큰 모델과의 차이가 뚜렷하다. 연구팀은 이를 “Parametric Compression-Coverage Hypothesis”로 설명한다. 논리적 추론은 탐색, 조건 확인, 오류 수정, 중간 결과 조합처럼 반복되는 패턴이 많아 작은 파라미터 안에 압축될 수 있다. 하지만 세계 지식은 커버해야 할 사실의 폭이 넓기 때문에 여전히 큰 모델이 유리하다는 주장이다.
그래서 VibeThinker-3B의 의미는 ‘작은 모델이 모든 대형 모델을 대체한다’가 아니다. 오히려 어떤 업무가 작은 모델에 적합한지 더 선명하게 나눠준다. 정답 검증이 가능하고, 실패 사례를 강화학습으로 빠르게 걸러낼 수 있는 수학, 코딩, 제한된 STEM 작업에서는 3B급 모델도 충분히 공격적으로 실험할 만하다. 반대로 일반 지식, 리서치, 상식 추론, 최신 사실 확인이 필요한 업무에서는 큰 모델이나 검색 결합이 여전히 중요하다.
이번 사례가 던지는 질문은 모델 규모 자체보다 더 실용적이다. 우리가 키워야 할 것은 파라미터인가, 아니면 검증 가능한 학습 절차인가. VibeThinker-3B는 적어도 추론형 작업에서는 후자의 답이 점점 강해지고 있음을 보여준다.