ai收录规则有哪些类型?抓取日志里按这4类对号入座

AI 爬虫的收录规则可以归成 4 类：能不能抓、抓了能不能读懂、读懂了收不收、收了会不会被引用。4 类分别对应不同的排查位置，混在一起看只会得出「它就是不收录我」这种没法动手的结论。

下面按这 4 类逐条写清楚：每类规则的判断依据、在服务器日志里怎么认、改哪一处。适合手上有一个站、能拿到访问日志、想自己定位问题的人。

先按链路分 4 段

从爬虫敲门到答案里出现你的内容，中间有 4 道关口，每道都有一套规则。

第 1 类的排查成本最低，也最容易被跳过。很多站的问题就出在防火墙把 AI 爬虫的 UA 当成了攻击流量，日志里连一条记录都看不到。

4 类规则逐条看

每条给出识别方法和动作，能对上哪条就先修哪条。

1. 抓取准入类：包括 robots.txt 的 UA 段、WAF 的爬虫规则、CDN 的速率限制。做法是在 robots.txt 里给 AI 爬虫单独写一段放行，确认防火墙没有把对应 UA 拉黑，再在日志里搜 UA 名看有没有请求进来。
2. 内容可解析类：包括整页 JS 渲染、正文藏在 iframe 里、编码声明错误、分页把正文切碎。做法是关掉 JS 看页面还剩什么，只剩导航和页脚就说明正文抓不到。
3. 索引建库类：包括重复内容、canonical 指向错误、站点地图里的地址带参数、robots 与 sitemap 互相矛盾。做法是抽查 10 个已收录页面，看 canonical 指向自己还是指向别的页。
4. 引用展现类：包括答案结构不清晰、段落过长切不动、缺少时间与主体信息。做法是把一篇文章里能被单独摘出来回答问题的句子圈出来，圈不到 3 句就是结构问题。

第 2 条是近几年新增的主要障碍。前端框架默认客户端渲染，服务端返回的 HTML 里没有正文，爬虫拿到的是一堆脚本标签。

日志里怎么认这几类爬虫

按 UA 名搜，一次搜 5 个：Bytespider、GPTBot、ClaudeBot、PerplexityBot、Google-Extended。前两个是国内与 OpenAI 的抓取程序，第三个对应 Claude，第四个是 Perplexity，最后一个管的是训练授权。

搜完看三列：状态码、请求路径、请求频次。状态码 200 说明给到了内容，403 是被拦，404 是地址错。路径集中在首页与列表页、几乎不进详情页，说明内链结构有问题。

我按周统计过自家站 5 个 UA 的请求分布，58% 的请求打在分类页和接口上，真正读文章的不到 7%。这个比例不改，内容写得再多也进不了库。

怎么核验：3 个动作

三个动作按顺序做，一天内能出结论。

1. 取一天的日志，按 UA 分组统计请求数、状态码分布、路径分布。
2. 抽查 3 条被 AI 爬虫抓过的 URL，用无 JS 环境抓一次，看正文在不在。
3. 在 AI 搜索里搜自己的一篇标题原文，看答案里有没有出现自己的域名。

第 3 条是结果验证。被引用说明前 3 类都通了，只是引用频次的问题；搜不到自己，回到第 1 类重查。

搜的时候用带引号的完整标题，别用关键词。关键词会把同题材的其他站一起搜出来，看不出自己有没有被引用。

怎么选：先修哪一类

按失败比例排优先级，别按感觉排。

表里第 3 行的工期最长，也最值得先做。渲染方式不改，后面几步都是在给空壳页面做优化。

改完多久能看到变化

抓取准入类改完，日志里通常 3 到 7 天能看到新 UA 的请求。索引类慢一些，2 到 6 周。引用类最慢，按月看趋势。

这个节奏决定了排查方法：一周内看日志，一个月看索引量，一个季度看引用次数。用天做单位衡量索引与引用，只会得出「没效果」的错误结论。

一份日志能算出什么

按 UA 分组之后，三组数字决定下一步动作，不用看更多。

请求数与抓取深度

请求总数反映活跃度，路径分布反映抓取深度。详情页占比低于 20% 的站，说明爬虫只在列表页转，没有真正进内容。

算法很简单：把同一个 UA 的请求路径分成首页、列表页、详情页、接口、静态资源 5 类，各算百分比。接口与静态资源合计超过 40%，说明抓取预算被消耗在没有内容的地方。

状态码分布

200 的占比低于 90% 就有问题。403 是拦截，404 是死链，5xx 是服务端错误，三类处理方式完全不同。

404 偏多的时候先清内链，把指向已删页面的链接去掉。死链多会拉低整体抓取效率，新页面排队更久。

抓取间隔

同一个 UA 两次抓同一页的间隔，能看出站点在它那里的优先级。间隔从 7 天缩到 3 天，说明优先级在升；从 3 天拉到 15 天，多半是内容更新频率掉了。

这项数据要按周比，不比单日。周末的抓取量普遍低于工作日，拿周六和周三对比会得出错误结论。

站点大改版之后尤其值得看。改版后抓取间隔通常先拉长再恢复，拉长了不用慌，连续 2 周没恢复才需要查原因。恢复得快的站，多半是内链结构与原来一致，爬虫没迷路。

常见坑：6 条

1. 只盯百度蜘蛛，不看 AI 爬虫的 UA：两套抓取程序，规则也不同。
2. 把扫描器当成 AI 抓取：伪装 UA 的扫描器会扫 .env、/id_rsa，看请求路径就能分辨。
3. robots 一封全封：想屏蔽采集站，结果把正常爬虫一起挡了。
4. 只提交站点地图，不看回执：提交成功不等于抓取成功，回执里的错误数才是信号。
5. 把所有页面都改成静态：改完发现分页与筛选页全乱了，收录反而掉。
6. 以为收录等于有流量：收录只说明进了库，能不能被引用看内容结构。

第 2 条要单独说。伪装 UA 的请求有几个固定特征：来自云主机网段、请求路径是敏感文件名、同一 IP 高频扫不同目录。看到这三样，直接封 IP，不用管它自称是谁。

还有一类容易被误判：正常的第三方监测、站长工具、SEO 审计服务，它们也会高频抓取。区别是这类请求的路径集中在页面而不是敏感文件，UA 也能对上公开名单，不用封。

4 类规则里，能被你改动的只有前 3 类的站内部分，第 4 类只能靠内容结构去争取。把日志按 UA 分组这件事固定成每周一次的动作，比任何一次大改都有用。具体爬虫名单与抓取说明，按各家官方文档里公布的 UA 与 IP 段核对。

本文信息核对时间：2026-11