Liquid AI가 LFM2.5-Encoder-230M과 350M을 공개했다. 목적은 거대한 생성형 모델을 흉내 내는 것이 아니라, 긴 입력을 계속 읽고 분류해야 하는 업무를 더 작은 모델로 옮기는 데 있다. 프롬프트 라우터, 정책 검사기, PII 탐지기, 토큰 단위 분류기는 한 번의 답변보다 하루 종일 반복되는 판별이 더 중요하다. 이때 CPU에서 버틸 수 있는 인코더가 별도 경로가 된다.
두 모델은 LFM2.5-230M과 350M 디코더 백본에서 출발했다. Liquid AI는 causal decoder를 bidirectional encoder로 바꾸면서 attention mask를 수정했고, short convolution에는 양쪽 이웃을 섞는 대칭 패딩을 넣었다. 학습은 토큰의 30%를 가리는 masked language modeling으로 진행했다. 먼저 1,024토큰 문맥에서 일반 언어 능력을 학습한 뒤, 8,192토큰 입력을 대상으로 사실·법률·다국어 능력을 보강했다.
벤치마크는 GLUE, SuperGLUE, 다국어 분류에 걸친 17개 태스크와 14개 모델을 대상으로 했다. 350M은 전체 4위였고, 앞선 모델 세 개는 모두 더 컸다. 230M은 ModernBERT-base와 EuroBERT 계열을 앞섰다. 점수만큼 눈에 띄는 부분은 긴 입력에서의 처리 시간이다. 8,192토큰 CPU forward pass가 230M은 약 28초였지만 ModernBERT-base는 1분 30초 이상 걸렸다.
물론 짧은 문장에서도 언제나 이기는 것은 아니다. Apple GPU에서는 약 1K 토큰 이하 구간에서 ModernBERT-base가 앞서고, LFM2.5-Encoders의 우위는 대략 2K 토큰부터 나타난다. 따라서 선택 기준은 모델의 유명세가 아니라 입력 길이와 실행 환경이다. 긴 계약서, 트랜스크립트, 지원 티켓을 CPU로 반복 처리한다면 3.7배 차이가 운영 비용과 대기 시간을 함께 줄일 수 있다.
Hugging Face에는 CPU 전용 데모가 있다. 사용자가 정의한 문장으로 프롬프트 라우팅을 시험하고, 자유 텍스트로 작성한 회사 규정을 기준으로 정책을 검사하며, 16개 언어에서 40종 PII를 찾을 수 있다. 맞춤법 검사와 마스크를 순차적으로 해제하는 텍스트 생성 예시도 포함된다.
구현은 간단하지만 베이스 모델을 그대로 배포하면 끝나지 않는다. masked-token prediction에는 AutoModelForMaskedLM을 쓰고, 실제 분류·토큰 분류·회귀·검색에는 encoder body에 작업별 head를 붙여 파인튜닝해야 한다. 230M은 처리량과 작은 하드웨어에, 350M은 정확도 우선 작업에 어울린다. 브라우저 안에서 긴 텍스트를 격리해 판별하고 필요한 결과만 넘기는 시스템이라면, 생성형 호출과 분리된 CPU 인코더 경로를 설계할 근거가 생긴다.