ai收录规则有哪些类型?4类规则逐条对着日志核

AI 搜索的收录规则可以归成 4 类：能不能进来、能不能读懂、值不值得收、收多少。4 类规则分别对应日志里的不同现象，逐条对着日志核，比猜算法有效得多。

这份清单给做站点运营的人用。规则本身不公开，下面写的是从抓取日志和行为差异里能观察到的 4 层门槛，判断办法都落到可查的记录上。

为什么按这 4 层分

收录是一条链路，每一层都有独立的门槛。第 1 层过不去，页面根本不会被访问；第 2 层过不去，页面被访问了但内容没被提取；第 3 层过不去，内容读到了但被判为不值得进库；第 4 层过不去，前 3 层都通过，但同一批页面只收一部分。

按链路分的好处是能定位。看到「抓了但没收录」，往前查第 2、3 层；看到「完全没抓」，查第 1 层。混在一起谈规则，只能得出「内容不够好」这种没法执行的结论。

这 4 层在传统搜索里也有，AI 搜索的差别在第 3 层权重更高：页面要能被拆成可直接引用的答案段，否则即使进了索引，也很难出现在回答里。

4 类规则清单

表中第 2 层的现象最容易被误判。抓取日志里看到大量的 200 响应，会以为抓取正常，实际抓的都是列表页和标签页，正文页 1 次都没进。

第 4 层的现象也常见。同一模板生成 500 个页面，收进去的可能只有前 30 个，其余被判定为重复。这类问题的解法是减少模板页数量、给每页补独有内容，继续加页面只会把收录比例越摊越低。

逐条怎么核

1. 第 1 层：在服务器日志里筛目标 UA，统计 24 小时内的请求数与状态码分布，403 占比超过 30% 就要查 robots 和防火墙。
2. 第 2 层：把日志里的 URL 去重，看正文页与列表页的比例，正文页请求数低于总数 40% 说明抓取路径没打通。
3. 第 3 层：随便抽 10 个正文页，看发布时间与最近一次抓取时间，超过 30 天没被复抓的要查内容质量。
4. 第 4 层：统计同一模板的页面数量与其中被收录的数量，比例低于 20% 就要收窄模板范围。

第 4 步需要收录数据，站内没有统计工具时可以用站点地图里的 URL 数与索引量做粗略对比，差值大就说明有大量页面没进库。

这 4 步我按周做一次，全程约 40 分钟。第 1 步和第 2 步看日志，第 3 步靠抽样，第 4 步看趋势。4 步里最花时间的是第 2 步，因为要先按路径归并 URL。

日志里怎么区分真抓取和扫描

有些请求会伪装成 AI 爬虫的 UA，实际是在扫敏感文件。判断看 3 点：请求路径是不是 .env、wp-admin、id_rsa 这类；来源 IP 是不是公有云机房段；请求频率是不是整齐的高频。

3 点里命中 2 点，基本可以判定是扫描器。这类请求要单列，不要算进 AI 抓取量，否则数据会被虚高，判断跟着跑偏。我在 2026 年 11 月的一次统计里就遇到 27 次这类请求，全部来自同一段机房 IP，路径清一色是配置文件。

真爬虫的特征相反：路径集中在正文页和站点地图，频率不高，UA 后面常带版本说明，同一个 IP 段会在几天内反复来。

怎么验证核得对不对

1. 改 1 个页面的结构，只改这一页，7 天后看它有没有被复抓，有复抓说明规则生效。
2. 同一批 10 个页面里，5 个补答案段、5 个不动，30 天后对比被收录的比例。
3. 把 4 层数据做成一张周表，连续看 4 周，趋势比单次数字可靠。

第 1 条是唯一能验证因果的动作。一次只改 1 个变量，其他不动，才能看出是哪一项起了作用。同时改标题、改结构、改内链，结果无法归因。

常见坑：4 种

坑一：把抓取量当成收录量

抓取次数多不代表收得多。抓 1000 次收 10 个页面是常见情况，两个指标要分开看，抓取只是入场条件。

坑二：只看总请求数

总请求数里混了图片、样式、接口和扫描器请求。先按文件类型过滤，只看 html 请求，数字才有意义。

坑三：一次改太多

结构、模板、内链一起改，出问题找不到原因。按周改 1 项，改完观察 7 天，节奏慢一点但能积累经验。

坑四：忽略移动端

多数 AI 爬虫的 UA 标识与移动端相关，只测桌面端的渲染结果会漏掉问题。核的时候用移动端 UA 抓 1 次，看返回的 HTML 里有没有正文。

一周 40 分钟的固定动作

周一导出上周日志，按 UA 分组统计请求数与状态码。周三抽 10 个页面看复抓情况。周五把两项数据填进周表，看趋势不看单日。

这个节奏坚持 3 个月，站点的问题会自己浮出来。比如连续 4 周正文页请求占比低于 30%，说明抓取路径有问题，不用等收录量掉下去才发现。

周表只需要 4 列：周次、正文页请求占比、复抓率、新增收录数。4 列都能量化，也都能追到具体动作。

抓取频次怎么算出来

服务器日志按分钟切块，统计每小时里目标 UA 的请求数，1 天就是 24 个数字。这 24 个数字排开，能看出抓取是均匀分布还是集中在某个时段。

均匀分布说明抓取计划稳定，站点没有触发限流；集中在凌晨 0 点到 3 点，属于正常的定时调度；集中在某 1 个小时内爆量，多半是复检或新增页面被批量发现。

算完还要看状态码分布。200 占比低于 70% 就要查原因，404 多说明内链指向了已删页面，403 多说明防火墙拦了爬虫，5xx 多说明服务端扛不住并发。

1. 按小时分组，统计目标 UA 的 html 请求数，排除图片与样式。
2. 统计同组的 200、304、404、403、5xx 数量。
3. 把 24 个数字画成一张折线，和上周对比，看形态变化。

第 2 步里 304 不算异常。304 表示页面没变，爬虫拿的是缓存，说明抓取机制正常，只是内容没更新。

收录比例怎么估

站内没有统计工具时，用站点地图里的 URL 数除以资源平台的索引量，得到粗略比例。站点地图提交 500 条、索引量 120 条，比例约 24%。

这个比例的含义是「有多少页面被认为值得进库」。低于 20% 说明大量页面被跳过，先查第 3 层与第 4 层；高于 60% 属于健康区间，重点转到内容质量。

估的时候要排除 2 类页面：标签页、分页这类聚合页，和内容重复的变体页。这两类本来就不该全收，算进分母会低估真实比例。

我按这个办法给 3 个站点估过，估出来的比例和后来在资源平台看到的数字差距在 5 个百分点以内。够用来判断趋势，不够用来做精确汇报。

4 类规则对应 4 种现象，核的时候对着日志逐层看，别混着猜。改的时候一次只动 1 项，7 天后看变化。本文信息核对时间：2026-11。