Cloudflare 与 OpenAI 公布试点结果：仅用约 1% 网络的信号，就帮 OpenAI 搜索爬虫新收录数亿网页

这件事意味着什么

【要点】

Cloudflare 10 月 15 日公布与 OpenAI 7 月启动的联合试点的早期结果：用 Cloudflare 网络上的信号帮 OpenAI 的搜索爬虫发现新网页，再由 OpenAI 自己判断收录和排序。试点只覆盖约 1% 的 Cloudflare 网络，已让 OpenAI 发现并收录了数亿个此前不知道的网页，供 ChatGPT 搜索引用。

【可核验】

Cloudflare 官方博客：https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/

文中说明的做法：过滤不存在的地址、一律跳转首页的地址和重复内容，在爬虫抓取之前就砍掉无效请求；用「页面是否变化」的信号决定要不要重新抓取；正在测试标记单个被入侵的有害页面（比如被植入的假登录页），而不连累整个域名。Cloudflare 强调只使用网页的元数据、不共享页面内容，不用于模型训练；有信号不等于获准访问，站长的选择始终有效。下一阶段要改进选页、测试更快的变更信号，并衡量被发现之后的实际效果。

【我们的判断】

一、AI 搜索的瓶颈不只在模型，还在「找得到」。CDN 掌握哪些页面真实存在、何时更新，这类信号对爬虫的价值相当于一份实时站点地图。

二、Cloudflare 此前主推默认拦截 AI 爬虫和按次付费抓取，现在又给 OpenAI 当「引路人」，角色从守门人扩展为撮合方，对站长和 AI 公司两头都有筹码。

三、文章没说这些信号是否只给 OpenAI，也没说参与试点的网站是否逐一同意。如果只此一家，这就是 ChatGPT 搜索在索引覆盖上的结构性优势，值得其他 AI 搜索厂商和站长关注。