OpenAI와 Broadcom이 공개한 "Jalapeño"는 이름만 보면 장난스럽지만, 발표의 무게는 가볍지 않다. 이 칩은 OpenAI의 첫 "Intelligence Processor"로 소개됐고, 대형 언어모델을 서비스할 때 필요한 inference, 즉 추론 워크로드에 맞춰 설계됐다. OpenAI는 범용 칩을 조금 고친 제품이 아니라 처음부터 LLM 추론용으로 만든 가속기라고 설명한다.
역할 분담도 단순한 공동 마케팅처럼 보이지 않는다. OpenAI는 칩 설계를 맡고, Broadcom은 실리콘 제조와 Tomahawk 네트워킹 기술을 제공한다. Celestica는 보드, 랙, 시스템 통합을 담당한다. 칩 하나의 성능표보다 데이터센터에 꽂히는 전체 경로가 먼저 보이는 구성이다. OpenAI가 말하는 "full stack"은 이제 모델과 앱을 넘어 전력, 네트워크, 랙, 공급망까지 포함한다.
다만 성능 주장은 아직 유보해서 봐야 한다. OpenAI는 Jalapeño가 현재 최상위 하드웨어보다 성능/와트 면에서 상당히 낫다고 말하지만, 이는 자체 테스트다. 어떤 칩과 비교했는지, 어떤 모델과 워크로드였는지, 지연시간과 배치 조건은 어땠는지 공개되지 않았다. 기술 보고서가 나오기 전까지는 "좋아 보이는 발표" 이상으로 확정하기 어렵다.
그럼에도 이 발표가 중요한 이유는 배치 계획에 있다. 엔지니어링 샘플은 이미 실험실에서 ML 워크로드를 돌리고 있고, OpenAI와 Broadcom은 2026년 말 gigawatt scale 배치를 목표로 한다. Microsoft가 초기 물량의 40%를 보장해야 한다는 보도까지 붙어 있다. 이건 칩 성능 경쟁이면서 동시에 추론 용량을 누가 먼저 확보하느냐의 경쟁이다.
LLM 제품은 사용자가 많아질수록 추론비가 곧 사업 모델의 압박으로 돌아온다. 응답이 빠르고 싸고 안정적이어야 구독형 제품도, API도, 에이전트형 서비스도 버틸 수 있다. Jalapeño의 실제 성능은 검증이 필요하지만, OpenAI가 왜 자체 하드웨어까지 내려가려 하는지는 분명하다. 앞으로 AI 경쟁의 한쪽 축은 더 좋은 모델이고, 다른 한쪽 축은 그 모델을 감당 가능한 비용으로 계속 돌리는 능력이다.