AI 爬虫一直不来，按什么顺序排查才不白改

先分清是进不来，还是进来了不留。两种情况的表现完全不同，处理顺序也不一样。

进不来的特征是日志里这些 UA 一次都没出现，或者出现了全是 403、404。原因集中在 robots 配置、防火墙、CDN 的 bot 规则这三处。

进来了不留的特征是日志有 200 记录，页面却长期不出现。原因在内容重复、正文靠脚本渲染、站内没有指向它的链接。

判断顺序上先查进不来。这一步 10 分钟能确认，改起来也快；内容侧的问题要几周才看得出变化，先动它会把排查周期拖到一个月以上。

两边同时改的做法我不建议。出了结果也说不清是哪一步起的作用，下次遇到同样的问题还是不会查。

按这个顺序走，一轮 40 分钟能查完，不用来回试。

1）访问日志筛 UA 名，统计近 7 天的请求数和状态码。全是 403 就去查防火墙与 CDN 的 bot 策略。

2）浏览器打开 /robots.txt，确认没有全站 Disallow，也没有挡住 /article 这类正文目录。

3）用命令行请求一个文章页，看返回码是 200 还是跳转。跳转链超过 2 跳的页面，抓取方多半会放弃。

4）关掉浏览器脚本再打开同一页。正文还在，说明服务端直出没问题；只剩一句加载提示，就得改成直出。

5）看这个页面在站内的入口。从首页点 3 次点不到，爬虫顺着链接也找不到。

5 步里前 3 步是外部条件，后 2 步是站点自身。外部条件不通的时候改内容没有任何意义。

有一次日志里 AI 爬虫全是 403，查了 2 天才找到原因。

服务器上装了安全软件，默认规则把 UA 里带 bot 的请求当扫描器拦掉，返回一个 403 的空页面。

表现很有迷惑性。请求数看着不少，状态码全红，抓取量统计里一片零，看着像是内容没被收录，实际连门都没进。

处理方式是把这 6 个 UA 加进白名单，再放行对应 IP 段。第 2 天 403 消失，第 3 天开始出现正常抓取，第 2 周日志里能看到完整的页面请求。

之后我们把这条写进交接清单：换服务器先测一遍爬虫能不能进。之前吃过一次亏，新服务器上线 3 周，所有抓取都在 403 上打转，等发现时已经过了一个发布周期。

排查时几个常见的错判，会让方向偏掉。

1）只看总请求量。总量涨了不代表 AI 爬虫来了，多数是采集站在刷，要按 UA 分开统计。

2）把伪装 UA 当到站。有的扫描器把 UA 写成 DeepSeekBot 之类，请求路径全是 .env、/id_rsa 这类文件，这类记录要单独剔掉。

3）拿 CDN 的缓存命中率当抓取量。缓存命中是访问行为，跟爬虫无关。

4）日志被覆盖了才发现。服务器默认只留几天，排查要看的恰好是两周前的记录，两边一凑就对不上。

5）改一处就等结果。配置、防火墙、页面渲染三处独立生效，只改一处往往看不出变化。

第 4 条容易被忽略。日志留存改成按天归档，排查才有依据。