OpenAI가 첫 커스텀 추론 칩 Jalapeño를 공개했다. Broadcom과 함께 설계·제조한 칩이고, 목표는 분명하다. 모델을 더 똑똑하게 만드는 칩이라기보다, 이미 만들어진 모델을 더 싸고 빠르게 돌리는 칩이다.
TechCrunch 보도에 따르면 Jalapeño는 OpenAI의 추론 시스템에 맞춰 설계됐다. 아직 테스트 단계지만 OpenAI는 초기 결과에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 개선됐다고 밝혔다. OpenAI의 자체 AI 모델도 칩 개발 과정에 활용됐다고 한다.
이 발표가 흥미로운 이유는 커스텀 칩 자체보다 적용 지점에 있다. Jalapeño는 pre-training보다 inference에 초점을 둔다. 사용자가 ChatGPT나 Codex 같은 제품을 호출할 때, 모델이 응답을 생성하는 그 반복적인 구간이다. 특히 OpenAI는 실시간 코딩 모델을 낮은 운영비로 돌리는 사례를 강조했다.
이건 Nvidia를 당장 대체하겠다는 선언으로 읽기엔 이르다. 기사에서도 더 무거운 학습 작업은 여전히 Nvidia 하드웨어에 의존할 가능성이 높다고 본다. 대신 OpenAI가 노리는 건 매일 발생하는 추론 비용의 누적이다. AI 제품은 많이 쓰일수록 비용이 계속 쌓이고, 에이전트형 제품은 한 번의 작업 안에서도 여러 번 모델을 호출한다.
OpenAI는 발표에서 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 제품 경험까지 같은 목표에 맞춰 최적화할 수 있다고 설명했다. 이 문장이 이번 뉴스의 핵심에 가깝다. OpenAI는 모델 회사에서 제품 회사로, 다시 인프라 회사로 확장하고 있다.
Google과 Amazon이 자체 AI accelerator를 만든 것처럼, 대형 AI 기업들은 이제 GPU를 사서 모델을 얹는 방식만으로는 충분하지 않다고 본다. 성능 경쟁은 모델 벤치마크에서 끝나지 않는다. 같은 모델을 어느 비용 구조로, 어느 지연 시간으로, 얼마나 안정적으로 제공하느냐가 제품 경쟁력이 된다.
Jalapeño가 실제 배포에서 기대만큼 성능을 낸다면 OpenAI는 추론 경제학에서 중요한 카드를 갖게 된다. 반대로 성과가 제한적이라면 커스텀 실리콘이 왜 극소수 회사만 감당할 수 있는 게임인지 보여주는 사례가 될 것이다. 어느 쪽이든 방향은 분명하다. AI 경쟁은 모델 파일 하나가 아니라, 그 모델을 계속 굴리는 전체 스택의 싸움으로 이동하고 있다.