Renmin University와 ByteDance 연구진이 공개한 iLLaDA는 텍스트 생성 방식 자체를 다시 보게 만드는 모델입니다. GPT, Claude, Qwen 같은 주류 LLM은 대체로 autoregressive 방식입니다. 앞에서부터 한 토큰씩 생성하고, 새 토큰은 이전 토큰들에 의존합니다. iLLaDA는 다릅니다. 마스크된 토큰 시퀀스를 놓고 여러 번 다듬어 문장을 완성하는 diffusion language model입니다.
숫자만 보면 base 모델 단계에서는 꽤 인상적입니다. iLLaDA는 8B dense 모델이고 12T tokens로 pretrain됐습니다. 평균 벤치마크 점수는 63.9로, 같은 표의 Qwen2.5 7B Base 63.3을 살짝 앞섭니다. 이전 LLaDA 8B의 평균 51.1과 비교하면 상승 폭이 큽니다. BBH에서는 LLaDA 대비 21.6점 올랐고, MMLU 74.8, GSM8K 81.9 같은 수치도 diffusion LM에 대한 기존 인상을 바꿀 만합니다.
다만 이 결과를 곧바로 "autoregressive 모델의 대체"로 읽으면 안 됩니다. instruct 단계에서는 격차가 큽니다. iLLaDA-Instruct는 67.1점이고, Qwen2.5 7B Instruct는 77.1점입니다. 특히 수학과 코드에서 차이가 벌어집니다. 기사에 따르면 저자들은 Qwen2.5 쪽의 추가 reinforcement learning alignment를 중요한 차이로 봅니다. 논문 부록에는 더 어려운 reasoning task에서 모델이 reasoning loop에 빠질 수 있다는 언급도 있습니다.
흥미로운 대목은 Google DeepMind의 DiffusionGemma와 방향이 다르다는 점입니다. DiffusionGemma는 diffusion 방식으로 약 4배 빠른 생성을 노렸지만, 품질 벤치마크에서는 비슷한 크기의 autoregressive Gemma 4보다 약했습니다. Google도 품질이 중요한 production보다는 low-latency 사용처에 더 어울린다고 봤습니다. 반면 iLLaDA는 8B dense 모델을 처음부터 학습해 품질 자체를 밀어붙이는 쪽입니다.
그래서 iLLaDA의 의미는 "Qwen을 이겼다"보다 조금 더 미묘합니다. base model 품질에서는 diffusion LM이 주류 autoregressive 모델과 같은 표에서 경쟁할 수 있음을 보였습니다. 하지만 fine-tuning, RL alignment, code/math 안정성, 반복 루프 같은 운영상 문제는 아직 남아 있습니다.
실전 관점에서 iLLaDA는 당장 제품 LLM을 갈아엎으라는 신호가 아닙니다. 오히려 LLM serving과 alignment 연구에서 생성 방식의 선택지가 넓어지고 있다는 신호에 가깝습니다. 지금까지 텍스트 생성의 기본값은 거의 한 방향 토큰 생성이었습니다. iLLaDA는 그 기본값이 기술적으로 반드시 고정된 것은 아니라는 점을 꽤 설득력 있게 보여줍니다.