OpenAI, GPT-6를 위한 프롬프트 캐싱을 개선하다

OpenAI는 캐시 적중률을 높이고 지속형 에이전트가 더 빠르고 더 낮은 비용으로 실행되도록 하기 위해 GPT6의 프롬프트 캐싱을 업데이트했다고 밝혔습니다. 회사는 공유 컨텍스트가 여러 요청에서 재사용될 때 캐시된 입력 토큰에 최대 90%의 할인이 적용될 수 있다고 말합니다. 새 시스템은 30분 창 내에서 재사용되는 적격 공유 접두사에 캐시 할인을 적용합니다. OpenAI는 또한 캐시 성능을 모니터링하고, 미스의 원인을 진단하며, 프롬프트의 어느 정도를 캐시할지 선택할 수 있는 도구도 도입했습니다. 회사는 개발자들이 명시적인 캐시 중단점을 사용하고, 도구 정의를 안정적으로 유지하고, 캐시를 깨지 않으면서 추론 노력 수준을 변경하고, 사용자가 요청을 보내기 전에 알려진 컨텍스트를 미리 워밍업하는 등 캐싱을 최적화할 수 있는 방법을 강조했습니다. OpenAI는 이러한 변경 사항이 장시간 실행되는 에이전트 워크플로의 성능을 개선하기 위한 것이라고 밝혔습니다.