四家 AI 公司同意读同一个 robots.txt 开关：IETF 草案把偏好写成 __usage_ai-training，Anthropic 已经上线，微软和谷歌说 2027 年

先交代材料。本文依据三份一手文件：OpenAI 于 2026 年 10 月 30 日发布的官方博文《Making it easier for websites to express AI training preferences》，谷歌搜索中心博客同日由 John Mueller 署名的《Supporting a shared AI training control for websites》，以及 IETF Datatracker 上的草案 draft-kelley-aipref-training-preference-signal-00（署名 Kevin Kelley，最后更新 2026-10-30，2027 年 5 月 3 日到期）。微软与 Anthropic 的参与来自 The Verge 的报道，我没找到这两家自己的官方博文原文，所以凡是涉及它们的句子都按媒体口径标注。

草案到底改了什么。按摘要原文的说法，它描述的是「如何把一个使用偏好（比如 no AI training）绑定到路径上」，做法是「写普通的 robots.txt 组，用按用途命名的 policy token 作为 User-Agent 行的键」。紧接着一句是关键：它不引入新的指令名，也不引入新的语法；robots.txt 的路径语言、最长匹配优先级、组结构一律不变。所以这不是一份新协议，而是一份「怎么用旧协议表达新意思」的说明书。

那个 token 长什么样。草案第 4.1 节定义它叫 __usage_ai-training，符合 robots.txt 产品名语法（只允许字母、下划线和短横线）。消费方必须按产品名的规则精确匹配，大小写不敏感；草案还加了一句解释，说线上有些解析器匹配得更宽松，两个下划线开头就是为了让误匹配不太可能发生。一句话的规则，背后是对「现有解析器行为不一致」这个现实的让步。

真正麻烦的是通配符。第 4.2 节写得毫不含糊：通配符组，也就是 User-Agent: * 那种，绝不能被解释为匹配 this policy token。后果很直接：如果你的 robots.txt 里只有 User-Agent: * 加 Disallow: /，那么在草案的语义下你并没有对 AI 训练表态——没态度，不是拒绝。只有显式写了 User-Agent: __usage_ai-training 那一行，Allow 或 Disallow 才算数。这一条几乎决定了全站规则要怎么写。

爬虫规则和用途偏好是两件事。第 4.3 节要求消费方对 RFC 9309 信号的理解保持不变：ExampleBot 照样只查自己那条规则，其他一律照旧。第 4.4 节进一步说明这个 policy token「不是抓取行为的指令」，但消费方可以选择用它来影响抓取——比如只为实现该用途而去抓取时，可以主动不去取那些已表达反对的资源。翻译一下：这条规则约束的是「拿去训练」，不直接约束「来不来抓」，后者仍归各家产品名管。

优先级也写清楚了。第 4.5 节说具体表达应当优先于一般表达，消费方可以声明自己把匹配专有 token 的规则视为比 __usage_ai-training 更具体，还有一句更实在的：私有协议可以覆盖通过本机制表达的偏好。这三句话放在一起说明它的法律与技术定位——这是一个公开的默认值集合，签了合同的一方可以另行约定，而且谁解释谁说了算。

OpenAI 那边说了什么。官方博文的口径是「将遵守 robots.txt 里一个共用信号」，明确定性为自愿行为，理由是以前站长要逐个识别爬虫、为每一家维护一套规则，共用信号能少干活。时间表写得很克制：目标是未来数月内实现，实现时会再发一次更新说明细节。同时承诺新信号不替代现有的爬虫控制，developers.openai.com 上列出的那些机器人规则继续有效，末尾还呼吁其他 AI 提供方也遵守。注意这是承诺，不是已上线。

谷歌那边更具体，因为它手里有 Google-Extended。约翰·穆勒的博文说，当站点在 robots.txt 里用这个 policy token 退出训练、并且没有显式指定 Google-Extended 时，谷歌计划把它当成「站长禁用了 Google-Extended」来处理；其他厂商可以照同样逻辑处理，于是站长要么一次全退，要么逐家挑。还有一句反向的、容易被忽略：明确允许 Google-Extended 的站点，有资格通过 Gemini 应用里的 grounding 出现在回答中并获得点击。所以退出训练和保住搜索/问答曝光之间，仍然存在一条细缝。

时间表对不上，这是本文最该记住的一句。谷歌写的是「我们计划与其他 AI 厂商一起在 2027 年支持这项新控制」，OpenAI 写的是「未来数月内实现」。The Verge 的版本更细：Anthropic 已经采用这个信号，谷歌和微软计划明年支持，OpenAI 说未来数月。也就是说同一份草案，四家的落地速度差了一年左右。起草人 Kevin Kelley 据 The Verge 报道是 Anthropic 的标准技术负责人，起草方先跑，这在标准史上不稀奇，但对依赖这条规则的站长来说，意味着接下来一年里必须在两套写法之间来回兼容。

微软的细节值得单拎出来，因为它可能变成最实用的一条。The Verge 报道说微软会提供更细的控制，让站长分别选择退出「AI 训练」或退出「AI grounding」（把模型指向可信来源以降低幻觉的那个环节），并且无论站长怎么选，网站照样出现在必应搜索结果里。如果这个描述准确，它比一个笼统的 token 更有用：绝大多数内容站的真实诉求不是彻底消失，而是不被拿去训练、同时保留被引用和被点击的机会。

背景和行业语境也得放进来，不然会误判这件事的分量。谷歌博文自己提到，这个提案回应的是出版商、公民社会团体和监管者的呼声，并且与欧盟《通用人工智能行为准则》一致——后者把 robots.txt 认定为网站发布机器可读偏好的主要方式。The Verge 同时提到两条竞争路线：允许出版商向爬虫收费的 RSL 标准，以及 Cloudflare 默认拦截 AI 爬虫。所以 2026 年这个时间点上，行业里同时在跑三套方案：自愿声明、付费许可、基础设施层拦截。这次公告属于最温和的那一套。

边界必须写清楚，避免被当成已经生效的保护。第一，草案状态是 Active Internet-Draft（individual），IETF Datatracker 明确写着「未被 IETF 认可、在 IETF 标准流程中没有正式地位」，所以它现在只是提案。第二，OpenAI 是「未来数月」，谷歌是「2027 年」，落地前这条规则对你的站点没有实际约束力。第三，微软与 Anthropic 的说法只来自 The Verge，我没找到两家官方原文。第四，即便全部落地，第 4.5 节允许私有协议覆盖，第 4.4 节允许消费方自行决定是否影响抓取。第五，本文不预测这套机制会不会真的改变内容被使用的现状，也不评价 robots.txt 作为治理工具是否足够——这两件事草案里都没有答案。