谷歌微软等巨头支持新标准：网站用一条规则即可阻止人工智能抓取训练

据科技媒体 Engadget 报道，谷歌、微软、OpenAI 与人工智能公司 Anthropic 近日共同承诺，将支持一项统一的 robots.txt 新规则，允许网站站长和内容发布方自主限制其内容被用于生成式人工智能训练。

按照目前的现状，各家人工智能厂商的抓取工具各自独立，站长若想阻止自己的内容被扒去训练大模型，必须逐个排查各家爬虫标识并分别添加拦截规则，费时费力还容易遗漏。这项新方案由该公司的技术主管凯文·凯利（音译）提交至国际互联网工程任务组审议，主要内容是让各大厂商共同认领一个通用的识别信号。未来站长只需在 robots.txt 文件中加入统一的声明指令，就能一次性对多家模型厂商生效，同时也能保留自主权，按需开放特定公开目录（例如新闻发布资料）。

需要明确的是，这项指令专门针对用于模型训练的爬虫，不会影响网页在谷歌搜索等常规搜索引擎中的正常索引和展示。例如谷歌确认会将该规则作为其专用爬虫 Google-Extended 的拦截信号，该爬虫主要为 Gemini 模型抓取训练材料。不过该指令无法撤回各厂商过去已经爬走的数据，仅能约束未来的抓取行为。

在落地时间线上，提案方目前已开始支持新规则，OpenAI 承诺在未来几个月内跟进，而谷歌和微软则分别预计在 2027 年初以及 2027 年 2 月 1 日才正式支持。

从社区角度看，能促成大厂坐下来认领统一的“免训练”开关，总算结束了站长天天追踪各家爬虫更新的被动局面。不过这一君子协定的推进周期明显偏慢，微软和谷歌拖到 2027 年才跟进；更何况互联网现存的海量优质语料早已被各家刷过不知多少遍，现在的防范虽然有必要，但也有点“羊已跑了大半才来补牢”的无奈。