프랑스 AI 스타트업 ZML이 ZML/LLMD를 공개했다. TechCrunch 보도에 따르면 이 제품은 오픈소스 대형언어모델을 Nvidia, AMD, Google TPU, Apple Metal, Intel Arc 등 다양한 칩에서 빠르게 실행하기 위한 LLM inference server다. 단순히 추론 서버가 하나 더 나온 사건이라기보다, AI 운영비의 중심이 어디로 이동하고 있는지를 보여주는 발표에 가깝다.
AI 산업에서 오랫동안 가장 큰 비용으로 이야기된 것은 모델 학습이었다. 하지만 AI 기능이 제품과 업무 흐름에 깊게 들어갈수록 기업이 매일 체감하는 비용은 추론에서 나온다. 사용자의 프롬프트를 처리하고, 응답을 생성하고, 이를 낮은 지연시간으로 반복 제공하는 과정이 클라우드 비용과 에너지 비용을 키운다. ZML 창업자 Steeve Morin이 지적한 vendor lock-in과 소프트웨어·아키텍처 장벽은 바로 이 지점에서 문제가 된다.
ZML/LLMD의 핵심 메시지는 기업이 하나의 칩 생태계에만 묶이지 않고 보유한 하드웨어를 더 유연하게 활용할 수 있어야 한다는 것이다. Nvidia를 배제하겠다는 이야기가 아니다. ZML 역시 Nvidia의 공급력과 중요성을 인정한다. 다만 AMD, TPU, Apple Metal, Intel Arc, 그리고 유럽의 신생 AI 칩 업체들까지 실제 AI 워크로드에 연결할 수 있다면 비용과 전력 효율의 선택지는 넓어진다.
경쟁 환경은 이미 뜨겁다. vLLM과 SGLang은 개발자 생태계에서 강한 존재감을 갖고 있고, Baseten, Inferact, RadixArk 같은 회사들도 추론 인프라 시장을 겨냥하고 있다. ZML이 차별화하려는 부분은 특정 서버 성능보다 더 넓은 하드웨어 호환성과 운영 유연성이다. Morin이 “silicon co-design”까지 언급한 것도 이 회사의 시야가 단순 소프트웨어 최적화에만 머물지 않는다는 신호다.
다만 ZML/LLMD는 오픈소스가 아니다. 무료 제품으로 출시됐지만, ZML은 사용 데이터를 보며 향후 수익화 방식을 찾겠다는 입장이다. 개발자 커뮤니티에는 아쉬운 선택일 수 있지만, 엔터프라이즈 시장에서는 성장과 수익화를 동시에 계산한 전략으로 볼 수 있다.
ZML은 약 20명 규모의 파리 팀이며, 2,000만 달러를 조달했다. Yann LeCun, Hugging Face 공동창업자들, Docker와 Dagger의 Solomon Hykes 같은 이름들이 주변에 있다는 점도 눈에 띈다. 이번 발표가 흥미로운 이유는 유럽 AI 스타트업이 모델 레이어를 넘어 추론 운영층, 더 정확히는 AI 비용 구조 자체를 겨냥하고 있기 때문이다.