Baseten의 새 라운드 보도는 AI 투자 시장의 시선이 어디로 이동하고 있는지 보여준다. TechCrunch가 인용한 Wall Street Journal 보도에 따르면 Baseten은 15억 달러 규모 투자를 130억 달러 밸류에이션으로 마무리하는 단계다. 불과 5개월 전 이 회사는 3억 달러 Series E를 50억 달러 밸류로 발표했고, 그 9개월 전에는 1.5억 달러 Series D를 유치했다. 이번 거래가 성사되면 반년도 안 돼 기업가치가 약 160% 뛰는 셈이다.
Baseten이 흥미로운 이유는 모델을 직접 만드는 회사가 아니라는 점이다. 이 회사가 겨냥하는 곳은 사용자가 프롬프트를 넣은 뒤 실제 응답을 생성하는 "추론" 단계다. AI 제품이 늘어날수록 추론은 비용과 지연시간의 중심이 된다. 매 요청마다 어떤 모델을 쓸지, 얼마나 빨리 응답할지, 비용을 어디까지 허용할지가 곧 제품 경쟁력이 된다.
Baseten의 메시지는 단순하다. 모든 요청을 가장 비싼 모델에 보내지 않고, 작업에 맞는 모델로 라우팅한다. 필요하면 성능이 충분한 오픈소스 모델을 활용해 비용을 낮춘다. 이 접근은 "로컬 우선 AI 작업대"라는 흐름과도 맞닿아 있다. 앞으로 기업은 하나의 거대 원격 모델만 쓰기보다 로컬 모델, 오픈소스 모델, 상용 API를 섞어 쓸 가능성이 높다. 민감한 데이터는 내부 환경에 남기고, 쉬운 작업은 저렴한 모델에 맡기며, 난도가 높은 요청만 큰 모델로 보내는 식이다.
물론 숫자에는 온도 차가 있다. WSJ는 이번 라운드가 split-priced 구조라고 전했다. 일부 투자자는 130억 달러, 일부는 110억 달러 밸류에이션으로 들어오는 방식이다. 겉으로 보이는 가격표는 크지만, 투자자들이 모두 같은 조건과 같은 확신으로 베팅하는 것은 아닐 수 있다. 최근 AI 인프라 시장에서 headline valuation이 얼마나 빠르게 부풀 수 있는지도 함께 봐야 한다.
그래도 방향은 분명하다. AI 앱이 많아질수록 모델 자체만큼이나 모델을 실행하는 계층이 중요해진다. 추론 라우팅, 비용 제어, fallback 설계, 오픈소스 모델 활용 능력은 더 이상 백엔드의 부속 문제가 아니다. 제품의 응답 속도와 마진, 데이터 처리 방식까지 좌우한다.
Baseten의 15억 달러 라운드가 확정된다면, 시장은 AI의 다음 병목이 "훈련"이 아니라 "운영 중인 추론"에 있다고 보는 것이다. 이 베팅이 맞는지는 몇 분기 뒤 고객 사용량, 실제 매출, 추론 마진에서 드러난다. 지금은 적어도 하나가 분명하다. AI 골드러시의 채굴 장비는 GPU만이 아니다. 어떤 모델을 언제, 어디서, 얼마에 돌릴지 결정하는 소프트웨어도 채굴 장비가 되고 있다.