Cloudflare 与 OpenAI 公布 AI 内容发现研究试点首批结果
Cloudflare 官方博客称，2026 年 7 月启动的联合研究试点已把数亿个此前未被发现的页面带进 OpenAI 的搜索索引，并公布了对无效页面、变更信号与页面级风险标记的最新发现
工具概览
工具定位、能力与使用指引
功能特点
- ✓ 试点已产出规模结果：Cloudflare 官方称这个联合试点使用了其整体网络约 1% 的参与流量，已让 OpenAI 发现并索引数亿个新的网页，从而让 ChatGPT 有更多来源可以引用，帮助人们找到更相关、更及时的信息，并通过链接回到原始内容与出版方
- ✓ 过滤掉看起来有用其实没用的页面：Cloudflare 官方称在实践中发现自动化流量很容易让并不存在的页面看起来很吸引人——机器人反复请求根本不存在的文件、部分站点把几乎任何地址都重定向到首页、还有大量地址指向重复内容；识别这些模式可以在爬虫真正抓取之前就省掉无效工作
- ✓ 变更信号减少重复抓取：Cloudflare 官方称对网站主而言，爬虫反复下载没有变化的页面只会带来负载、没有收益；试点用变更信号告诉爬虫某个页面何时值得再次访问、何时不值得，目标是边持续发现、边保持信息新鲜，同时减少为此付出的工作量
- ✓ 页面级风险标记：Cloudflare 官方称正在测试能识别并标记潜在有害页面的信号；一个正常站点可能只有某一个页面被攻击者植入假的登录表单，官方称标记那一个页面而不是整个域名，既能保护用户安全，又不会惩罚站点所有者，早期结果显示这些信号有助于把不该进索引的页面挡在外面
- ✓ 参与方的权利与边界：Cloudflare 官方明确表示，关于页面的信号并不等于授予访问该页面的许可，这项研究使用的是关于网页的元数据用于搜索与发现，而不是把页面内容分享用于模型训练；站点所有者可以用 Cloudflare 的 AI Crawl Control 了解并管理 AI 系统如何访问自己的网站
使用步骤
- 阅读 Cloudflare 官方博客原文，了解试点范围、参与规模与已公布的早期结果
- 如果你是站点所有者，先确认自己对内容被 AI 使用的立场：Cloudflare 官方称愿意被 AI 系统发现的内容会更容易被检索到
- 使用 Cloudflare 的 AI Crawl Control 查看 AI 系统如何访问你的网站，并按你的规则管理其访问
- 关注官方后续计划：Cloudflare 称下一阶段会改进页面筛选、测试更快更可靠的变更信号，并衡量内容被发现之后实际发生了什么
常见问题
这个试点是什么时候、谁做的？
Cloudflare 官方博客称，Cloudflare 与 OpenAI 在 2026 年 7 月宣布启动这项联合研究试点，并在 2026 年 10 月 15 日的官方博客中公布了首批结果；试点目的是探索来自 Cloudflare 网络的信号能否帮助 ChatGPT 用户更高效地发现新内容。
试点规模有多大、效果如何？
Cloudflare 官方称，该试点使用了其整体网络约 1% 的参与流量，已让 OpenAI 发现并索引数亿个新的网页。Cloudflare 称答案是明确的肯定：试点把此前未知的页面带进了 OpenAI 的搜索索引，让 ChatGPT 有更多来源可以帮助人们找到相关、及时的信息。
网站主的内容会被拿去训练模型吗？
Cloudflare 官方明确表示，这项研究使用的是关于网页的元数据，用于搜索与发现，而不是把页面内容分享用于模型训练；同时官方强调，关于页面的信号并不等于授予访问该页面的许可。
网站主如何管理 AI 的访问？
Cloudflare 官方称站点所有者可以使用 Cloudflare 的 AI Crawl Control 来了解并管理 AI 系统如何访问自己的网站。官方还称，对于愿意让自己内容进入 AI 系统的网站，这些改进会让发现更容易、更高效。
为什么要做页面级标记而不是整站标记？
Cloudflare 官方称，一个合法网站可能只有一个页面被攻击者植入假登录表单之类的风险内容；标记那一个页面而不是整个域名，既能保护用户安全，又不会惩罚站点所有者。官方称早期结果显示这些信号有助于识别应当被排除在索引之外的页面。
下一步官方准备做什么？
Cloudflare 官方称下一阶段会建立在现有经验之上：改进页面筛选、测试更快更可靠的变更信号、衡量内容被发现之后发生了什么，并继续与 OpenAI 一起研究更好的站点发现如何转化为真实的业务结果。