OpenAI、Google、微软联合支持 IETF 通用 robots.txt「AI 训练」退出令牌：一行规则通知多家厂商，Bing 同步拆分训练与引用，2027 年起生效

这件事意味着什么

【要点】

2026-10-30，OpenAI 和 Google 分别发文，宣布将支持一个跨厂商通用的 robots.txt「AI 训练偏好」信号。微软 Bing 同日宣布了配套的训练与 grounding（检索增强）控制。据 Search Engine Land 报道，Anthropic 也参与了这一联合宣布。这个信号源自 IETF「AI Preferences（AIPREF）」工作组的工作。

1. 机制（IETF 草案 draft-kelley-aipref-training-preference-signal-00）：不新增任何 robots.txt 语法，而是在 User-Agent 行写一个「策略令牌」__usage_ai-training，再用常规的 Disallow/Allow 按路径表达「不允许/允许用于 AI 训练」。没有这个令牌就视为未表达偏好。

2. OpenAI：将在「未来几个月」实现并尊重这个通用信号，届时另行公布实现细节；现有 GPTBot 控制继续有效。

3. Google：计划 2027 年与其他厂商一起支持。站点用该令牌拒绝训练、又没有单独写 Google-Extended 时，Google 会视为站点已拒绝 Google-Extended。专门放行 Google-Extended 的站点，仍可在 Gemini 应用中被 grounding 引用并获得点击。

4. 微软 Bing（据 Search Engine Land 转述的 Bing 官方博客）：把「AI 训练」和「AI grounding」拆成两个独立偏好。训练偏好可以细化到单个页面（用 meta 标签或 HTTP 头）。grounding 默认允许，另设 DisallowExtended，含义是只允许微软自家的 Copilot 和 M365 使用、不允许第三方 grounding 服务使用。时间表：2027-02-01 开始执行新偏好；旧的 NoArchive/NoCache 指令在 2027-03-01 后不再被当作训练或 grounding 偏好。

【可核验】

OpenAI：https://openai.com/index/helping-websites-express-ai-training-preferences

Google Search Central：https://developers.google.com/search/blog/2026/10/ai-training-control

IETF 草案：https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/

Bing 细节（二手转述）：https://searchengineland.com/microsoft-bing-gives-publishers-more-control-over-how-ai-uses-their-content-499967

【我们的判断】

一、背景：这几年站长要拦 AI 训练，只能逐个写 GPTBot、Google-Extended、ClaudeBot、CCBot 等规则。新厂商不断出现，名单永远补不完；Cloudflare 还另推了「Content Signals」。与此同时，监管压力在上升：欧盟 GPAI 行为准则要求尊重机器可读的退出信号，英国 CMA 刚就 Meta 的条款可能让它抓取出版商内容开展调查（本站 e/1072）。一个跨厂商的统一令牌，是业界在规则被强制写下之前，先主动给出的方案。

二、对照：这次的关键分歧在「训练」和「回答引用」要不要分开。Google 继续把两者绑在 Google-Extended 上，并用「放行才能在 Gemini 获得 grounding 点击」来提供激励；微软则明确拆开，允许出版商「不让训练、但让 Copilot 引用」。对出版商来说，微软的方案更细；Google 的方案对 Google 自己更有利。值得注意的是，名单里目前看不到 Meta、xAI 和多数中国模型厂商，而这个信号本身是自愿遵守的。

三、影响与局限：第一，生效时间都在 2027 年（OpenAI 说「未来几个月」，Google 说 2027 年，微软是 2 月 1 日），短期内站长还得继续维护各家的单独规则。第二，它只管「基础训练」，不覆盖实时检索、摘要和智能体浏览，而这些正是出版商流量流失的主要来源；IETF 词表的其余部分仍在讨论中。第三，「不写就当未表达」的规则，意味着沉默仍然默认可用。