AGI Pulse
产品/应用OpenAI · OpenAI

OpenAI 升级 GPT-6 提示缓存:默认更高命中率、诊断工具与面向持久 Agent 的可控断点

阅读 4

发布日期
2026-09-23
类型
产品/应用
相关机构
OpenAI
信息来源
OpenAI

这件事意味着什么

【官方发布】

  • OpenAI 发布《Better prompt caching for GPT-6》(一手:openai.com/index/better-prompt-caching-for-gpt-6)。
  • 面向持久多轮 Agent:同一会话里反复携带的指令、工具定义与上下文可被缓存复用,降低延迟,缓存 input token 最高约 90% 折扣。
  • RSS pubDate≈2026-09-22T21:00:00Z(2026-09-23 05:00 CST)
  • 成稿时站上无同 source_uid/URL。

【我们的判断】

属 API/推理栈基础设施与可观测性更新,有利于长时 Agent 的成本与延迟事实层仅采官网可见表述。

【可核验要点】

  • GPT-6 家族默认更高 cache hit;符合条件的共享前缀在约 30 分钟窗口内复用可享缓存折扣。
  • 新工具:Prompt Caching Dashboard(命中率与 input 组成)、prompt caching diagnostics(对比近期请求解释 miss,如 tools_changed,并给出受影响 token 估计)。
  • 可选控制:显式 cache breakpoints
  • 在 GPT-6 上可改 reasoning effort 而不打断缓存
  • 保持工具定义/schema/顺序稳定,用 allowed_tools 或 tool_choice=none 而非删定义
  • 用新的 developer messages 追加指令覆盖旧指令
  • prewarming 预热共享上下文。
  • 页面引用 GitHub Copilot / Manus / Wordsmith 等客户案例中的命中率与成本变化——本摘要不逐条背书其内部数字。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策