GPT-5.6을 둘러싼 설명에서 가장 눈에 띄는 대목은 더 똑똑한 모델을 더 싸게 만들었다는 한 줄이 아닙니다. OpenAI는 모델, 추론 인프라, 에이전트 하니스를 함께 손봤다고 말합니다. 모델이 아무리 효율적이어도 요청이 엉뚱한 GPU로 가거나, 캐시를 재사용하지 못하거나, 에이전트가 같은 컨텍스트를 계속 다시 읽으면 실제 비용은 내려가지 않습니다.
모델 계층에서는 GPT-5.6 Sol이 Codex 안에서 최적화 작업에 참여했습니다. 프로덕션 트래픽을 살펴 지역, 가용 용량, 가속기 유형, 컨텍스트 길이, 캐시 상태에 따른 부하 불균형을 찾고 라우팅 전략을 조정했습니다. forward pass에서는 미리 계산하거나 병렬화할 작업을 찾아 프로덕션 GPU 커널을 다시 썼습니다. OpenAI가 유지하는 GPU 언어 Triton과 Gluon을 사용했고, 오픈소스 Floating-Point Sanitizer인 FpSan으로 결과를 검증했습니다. 관련 커널 개선을 포함한 작업으로 엔드투엔드 서빙 비용은 20% 줄었습니다.
생성 속도 개선에는 speculative decoding도 들어갑니다. 작은 draft model이 여러 토큰을 먼저 제안하면 주 모델이 이를 한 번에 검증할 수 있습니다. Sol은 자체 draft model의 크기와 구조, 기능을 수백 번 실험했고, 학습 중 하드웨어 장애와 불안정성에도 개입했습니다. 그 결과 토큰 생성 효율이 15% 이상 좋아졌습니다. KV cache는 프롬프트 길이, 출력 길이, 배치 크기, cache hit rate 같은 작업 조건에 맞춰 설정을 바꾸는 방식으로 최적화했습니다.
더 까다로운 문제는 에이전트의 반복입니다. Codex와 ChatGPT Work는 한 턴 안에서 코드를 읽고, 배포 이력과 인시던트 보고서를 검색하고, 파일을 고치고, 테스트를 실행합니다. 이런 과정이 30번의 모델 요청으로 이어지면 요청마다 추가된 작은 지연도 크게 불어납니다. Rust 기반 agentic harness가 컨텍스트 부풀리기와 중복 도구 사용을 줄이고, 프롬프트 캐싱을 위해 동일한 접두사를 보존하는 이유입니다. 모델의 한 번의 추론보다 반복되는 작업 구간을 줄이는 편이 전체 체감 성능에 더 직접적으로 닿을 수 있습니다.
이 접근은 AI 인프라를 평가하는 기준도 바꿉니다. 모델 가격표만으로는 부족합니다. 요청이 어디로 라우팅되는지, 캐시가 얼마나 재사용되는지, GPU가 얼마나 놀고 있는지, 에이전트가 같은 자료를 몇 번 다시 가져오는지를 함께 측정해야 합니다. 반대로 제공된 발췌만으로는 브라우저 안 격리 경계가 어떻게 구현됐는지 확인할 수 없습니다. 확인 가능한 결론은 GPT-5.6의 효율이 모델 자체의 개선과 실행 경로의 정리에서 동시에 나온다는 점입니다.