OpenAI가 공개한 Jalapeño는 이름부터 눈에 띄는 새 AI 칩이지만, 발표의 핵심은 칩 자체보다 추론 서비스를 운영하는 방식에 있습니다. Jalapeño는 Broadcom과 함께 만든 Application-Specific Integrated Circuit, 즉 특정 용도에 맞춘 ASIC입니다. 학습용 범용 가속기라기보다, 이미 학습된 모델이 사용자의 요청을 처리하고 에이전트가 다음 작업을 수행하는 추론 단계에 맞춰 설계됐습니다.
OpenAI는 InferenceX 벤치마크에서 Jalapeño를 Nvidia GB200과 GB300의 당시 최고 기록과 비교했습니다. GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T를 대상으로 Jalapeño가 와트당 1.5~1.9배 더 많은 AI 작업을 수행했고, 종단 간 지연시간은 1.7~3.6배 낮았다고 주장했습니다. 기사에 등장한 TBT는 토큰 사이의 시간으로, 모델이 응답을 이어서 내놓는 속도를 보는 지표입니다.
이 숫자가 제품 운영과 연결되는 지점은 분명합니다. 사용자는 모델이 얼마나 거대한지보다 첫 답이 언제 나오는지에 반응합니다. 에이전트는 한 번 답하고 끝나지 않고 검색, 도구 호출, 후속 추론을 반복합니다. 이때 각 단계의 지연시간이 줄면 전체 작업이 짧아지고, 같은 전력으로 더 많은 요청을 처리하면 수요가 몰릴 때 대기열도 줄어들 수 있습니다. OpenAI 하드웨어 부사장 Richard Ho가 Jalapeño를 낮은 지연시간과 높은 처리량을 함께 노리는 설계라고 설명한 이유입니다.
하지만 이 결과를 곧바로 업계 전체의 승리로 읽기는 어렵습니다. 공개된 수치는 OpenAI가 InferenceX를 통해 제시한 비교 결과입니다. 어떤 시스템 설정과 부하 조건을 사용했는지, 실제 서비스에서 모델별 성능이 얼마나 재현되는지는 추가로 확인해야 합니다. 벤치마크가 빠르더라도 메모리 구성, 소프트웨어 최적화, 장애 대응, 배포 비용이 달라지면 최종 제품의 체감은 달라질 수 있습니다.
배포 계획도 아직 단계적입니다. OpenAI는 올해 말 Jalapeño를 소량 배포하고 2027년에 물량을 늘릴 예정이지만, 내년 배포 규모는 밝히지 않았습니다. Nvidia를 포함한 파트너와의 협력도 계속하고, Jalapeño 2세대와 3세대 개발도 이어갑니다. 그러니 이번 발표를 특정 공급자의 교체 선언으로 보기보다, 추론 인프라를 여러 칩으로 나눠 운영하면서 비용과 응답 시간을 조정하려는 계획으로 보는 편이 정확합니다.
앞으로 확인할 것은 벤치마크의 최고 숫자보다 실제 트래픽에서의 p95·p99 지연시간, 토큰당 전력, 피크 시간대 처리량, 그리고 모델 품질입니다. Jalapeño가 의미 있는 변화가 되려면 한 번 빠른 답을 내는 데서 끝나지 않고, 사용자가 몰리는 순간에도 그 속도와 효율을 유지해야 합니다.