@wenchuangke 提醒自建独立站出海的人:别以为在 robots.txt 加了 AI 拒爬标头就万事大吉。四大巨头虽已宣布支持 IETF 统一的 AI 训练拒爬新标记,但执行时间表不同——作者称 Anthropic 刚开始支持,微软和谷歌要排到约 2027 年,且不溯及以往已抓取的数据。

他的应对:高价值独家数据坚决不挂公网裸奔;核心干货用登录墙和动态验证码保护;把流量沉淀进私域才是真壁垒。

对内容站与知识产品:拒爬是信号,不是保险单。工具返回互动:👍 2 · 曝光 32。