@vkdefi 提醒做独立站与出海的朋友:robots.txt 可以多加一个「总开关」。按帖子说法,OpenAI、Google、微软、Anthropic 约定认同同一个标记,一段规则即可告诉四家「别拿我的内容训练模型」。帖中给出的写法是:User-Agent: __usage_ai-training,Disallow: /,以及可选的 Allow: /press-kit/(给愿意被使用的目录留口子)。

帖中的三个要点:一是它只管「训练」,不管搜索索引,SEO 不受影响;二是生效时间不一——Anthropic 已在执行,微软 2027 年 2 月 1 日起,OpenAI 和 Google 随后跟进;三是这是自愿约定,只管以后,已经被抓走的内容收不回来。

作者的判断:做 GEO(生成式引擎优化)的不要一刀切乱封爬虫。想出现在 AI 搜索的回答里,主要靠实时检索抓取,而这一行只拒绝训练,可以放心加。

提醒:这是二手解读,上线前请到各家官方爬虫文档核对标记名称与生效日期;对照本站 AI 区 NYT 起诉 Brave 一条,可以看到「抓取透明度」正在成为行业焦点。工具返回的互动数较低(曝光 24),收录原因是信息实用。