독일 AI 컨소시엄이 공개한 Soofi S 30B-A3B는 겉으로 보면 또 하나의 오픈 LLM 발표처럼 보입니다. 하지만 이 모델의 핵심은 “30B급 모델을 만들었다”가 아니라, 긴 컨텍스트와 주권형 인프라를 실제 운영 조건에 맞춰 어떻게 설계했는지에 있습니다.
Soofi S는 전체 31.6B 파라미터를 갖지만, 토큰마다 활성화되는 파라미터는 약 3.2B입니다. Nvidia Nemotron 3 Nano의 하이브리드 Mamba-Transformer 구조를 채택했고, 52개 레이어 중 KV cache를 유지하는 레이어는 6개뿐입니다. 이 덕분에 긴 입력에서 attention cache가 커지며 생기는 병목을 줄이고, 4K에서 256K 컨텍스트까지 generation throughput을 비교적 안정적으로 유지합니다.
데이터 전략은 독일어에 강하게 기울어져 있습니다. 총 약 27조 토큰을 3단계로 처리했고, 독일어 비중은 1단계 7.2%에서 2단계 15.3%로 올라갑니다. German Commons, FineWiki, FinePDFs, HPLT 독일어 웹 텍스트, 그리고 916개 독일 매체의 1억9300만 기사로 구성된 Genios 코퍼스가 포함됐습니다. 그 결과 보고서 기준 Soofi S는 fully open 모델 중 독일어와 영어 aggregate에서 OLMo 3 32B, Apertus 70B를 앞섰고, HumanEval 73.8%, MBPP 70.2%, 독일어 MBPP 84.2%도 기록했습니다.
그렇다고 약점이 없는 모델은 아닙니다. 독일어 수학 벤치마크 Minerva MATH-DE에서는 56점으로 Qwen3.5 35B-A3B와 Gemma 3 27B보다 낮고, NaturalQuestions 같은 공개 사실 검색에서도 뒤처집니다. 특히 RULER 장문 평가의 특정 추출 과제에서는 32K 이후 hit rate가 약 3%까지 떨어집니다. 긴 문서를 처리하는 속도와 긴 문서에서 정보를 정확히 뽑는 능력은 같은 문제가 아니라는 뜻입니다.
Soofi S가 남기는 더 큰 메시지는 오픈 모델 경쟁의 기준이 바뀌고 있다는 점입니다. 모델 weights뿐 아니라 일부 중간 checkpoint, 학습·평가 코드, 데이터 인벤토리, 제외된 데이터 목록까지 공개했습니다. 다만 Genios의 상업 라이선스 데이터가 1.3% 포함돼 있어 모든 학습 토큰을 자유롭게 재배포해야 한다는 더 엄격한 기준에는 닿지 못합니다.
이 모델은 유럽형 AI 주권 논의가 슬로건에서 운영 파이프라인으로 내려오는 장면에 가깝습니다. 뮌헨 Deutsche Telekom Industrial AI Cloud에서 최대 512개 Nvidia B200 GPU로 학습했고, 재생에너지 사용, Eisbach 운하수 냉각, 폐열 활용까지 인프라 서사가 함께 공개됐습니다. 앞으로 기업과 공공 영역이 오픈 LLM을 고를 때는 벤치마크 점수만이 아니라, 어떤 데이터로 학습했는지, 긴 컨텍스트 비용이 어떻게 움직이는지, 라이선스 경계가 어디인지까지 같이 보게 될 가능성이 큽니다.