robots.txt 要不要给 AI 爬虫放行，怎么改、怎么验证

打开域名根目录下的 robots.txt，见到 Disallow: / 这一行，等于所有爬虫都被挡在门外，AI 的也在里面。

需要放行的名字有 6 个：GPTBot 与 OAI-SearchBot 属于 ChatGPT，ClaudeBot 属于 Claude，PerplexityBot 属于 Perplexity，Bytespider 属于豆包，Baiduspider 属于文心。

改法照这个结构写：1）星号那一段只留 Disallow: /admin 与 /api；2）每个 UA 单独起一段，写 Allow: /；3）文件存 UTF-8 无 BOM，放域名根下；4）用浏览器打开 /robots.txt 能看到内容，才算上传成功。

隔一天翻访问日志，把这 6 个名字筛一遍，有记录说明真进来了。一条都没有就往服务器那层查，多数是被防火墙的 bot 规则拦在更前面。

放行只是拿到入场资格，离出现答案还差好几步。

抓到、进索引、被引用是三个独立环节，每个环节都会刷掉一批页面。放行解决的是第 1 个环节，后面两个靠内容和选题。

抓到这一步看日志。UA 出现的频次低，说明站点更新频率和外部入口不够，靠站点地图和站内链接补入口，比反复改配置文件有用。

进索引这一步看页面本身。一个页面只回答一个问题，标题就是这个问句，正文带数字、时限、材料清单，进库的概率明显高过泛泛的综述。

被引用这一步看竞争。同一个问题全网已经有 20 篇更完整的答案，放行了也不会被挑中，这时候要换的是选题方向。

我们一个客户站改完配置后，第 11 天才在日志里看到 Bytespider 的首次请求，第 4 周才有百度快照渲染记录。这段等待期里能做的是补页面质量和入口，盯着配置文件反复改没什么意义。

我们自己的站被 robots.txt 挡了 5 个月，日志里一个 AI 爬虫都没有。

起因是建站模板默认写入 Disallow: /，建站那会儿没人看这行，只当它是个配置文件。

发现的过程很偶然。8 月排查一条页面为什么不收录，顺手打开 /robots.txt，看到那行才反应过来，前面 5 个月的内容全在这行字后面。

改成只屏蔽 /admin 与 /api 之后，第 9 天日志里出现 Bytespider，第 16 天出现 Baiduspider 抓新发布的页面。

那 5 个月里我一直以为是内容不行，白改了 3 个月标题和首段，还把两篇本来不错的稿子删了重写。这个弯路的教训很直接：动手改内容之前，先确认爬虫能进得来。

现在我们的做法是把它写进上线清单：换服务器、上新站、改模板，都先跑一次 robots 检查，确认没有全站屏蔽再动内容。

改配置文件时容易写错的地方，都能在提交前对一遍。

1）为了放行 AI 把星号那一段整段删掉，后台和接口跟着敞开，通常 2 周内就会被扫描器打满日志。

2）只加了 Allow 却忘了原来的 Disallow，两段同时存在时按路径长度匹配，结果该挡的还挡着，自己看着像改对了。

3）配置文件放行了，页面 head 里还留着 noindex，爬虫进来了也不入库。这类错误在测试站复制到正式站时特别常见。

4）文件名写成 robot.txt，或者多套了一层目录，服务器返回 404，等于这个文件不存在。

5）改完不看日志就下结论。日志里一次请求都还没来，改得对不对其实没有验证过。

这 5 条里第 3 条藏得深。配置和页面两处都要看，只看一处会得出相反的判断。