ai收录规则有哪些类型?4类抓取记录在日志里对

收录规则按作用环节分 5 类：抓取准入、抓取调度、内容质量、索引组织、状态维护。前两类决定爬虫来不来，第三类决定抓了给不给位置，后两类决定已经进去的页面留不留得住。

很多人把这几类混成一件事，问“为什么我的文章不收录”，得到的回答通常是“内容质量不够”。实际排查要看日志：爬虫根本没来，与来了抓了但不入库，处理办法完全不同。

分类维度：按环节分最实用

按环节分，每一类都对应一个可查的证据。

1. 抓取准入：站点层面的允许与禁止，证据在 robots 文件与抓取日志。
2. 抓取调度：来多快、抓多少、抓哪些，证据在日志的频次与地址分布。
3. 内容质量：页面值不值得留，证据在索引量与落地页表现。
4. 索引组织：同一内容多条地址怎么合并，证据在规范化标签与参数处理。
5. 状态维护：已收录页面的降权、失效、更新，证据在索引量曲线。

五类里前三类占问题总量的多数。我处理过的站点，卡在第二类的最多：内容没问题，抓取频次上不去，新页面进库要等两三周。

五类规则逐个说

每一类写三件事：管什么、在哪能看到、怎么核对。

抓取准入

管的是爬虫能不能进。robots 文件里写禁止的目录，爬虫不会抓；站点返回 403、503 的地址，抓取会被记成失败。

核对办法：打开站点根目录的 robots 文件，看有没有误禁的目录；再翻日志，看抓取请求里 200 与 403 的比例。403 占比高，说明有拦截规则挡了正常爬虫。

常见错误是把整个后台目录写进禁止列表，顺手把文章目录也禁了。这类错误在日志里表现为“爬虫只抓首页”，很好认。

抓取调度

管的是来多快。同一个站点，抓取频次由系统按站点质量与更新节奏分配，质量高、更新稳的站点分到的次数多。

核对办法：数一天里爬虫来了几次、抓了多少个地址、集中在哪些栏目。频次低而更新量大的站点，要减量提质，把每天的产出集中到少数几个页面上。

还有个细节：同一分钟涌入多篇新内容，抓取队列容易去重跳过。把发布时间拉开，比一次性灌十篇更容易被抓。

内容质量

管的是值不值得留。判断依据包括原创程度、信息密度、是否有可核验的具体内容、页面是否只为了堆关键词。

核对办法：看索引量的增长与发文量是否同步。发了 50 篇，索引量只涨 3 条，说明大部分页面被判为不值得留。

我见过一种典型情况：同一个模板换了地名生成 200 个页面，除了地名全是同一段话。这类页面抓取正常、入库极少，处理办法是合并或删掉大部分，保留内容有差异的几个。

索引组织

管的是多条地址指向同一内容时留哪一条。带参数的列表页、大小写不同的地址、http 与 https 并存，都会产生重复。

核对办法：搜一个页面标题，看结果里出现几条来自同站的地址。出现三条以上，说明重复没处理干净。

处理手段是规范化标签与站点地图只保留主地址。分类页带筛选参数的，最好在参数页上加规范化指向不带参数的版本。

状态维护

管的是已收录页面的后续。内容过时、批量改版、域名迁移，都会影响已有页面的状态。

核对办法：每月看一次索引量曲线，掉得明显就去查最近改了什么。改版把地址规则改了却没做跳转，是最常见的原因。

页面下线的处理也有讲究。内容确实不要了，返回 404 或 410；只是换地址，做 301 跳转。两种处理混着用，会让系统反复判断。

怎么核验：一份日志看四件事

一周的抓取日志能回答大部分问题，按四件事拆。

第四行最能反映问题。新页面发出去 7 天还没被抓，先看站点地图里有没有它，再看站内有没有指向它的链接。两处都缺，等于把页面放在孤岛上。

第三行要注意区分真假。日志里 404 多，可能是页面真没了，也可能是爬虫在试旧地址。看 404 的地址长什么样，能分清两种情况。

怎么选：按症状定方向

给四个常见症状配处理方向，不做优劣判断。

1. 发了不抓：查站点地图、内链入口、服务器响应速度。
2. 抓了不收：查页面是否与已有内容重复、是否有实质信息。
3. 收了没排名：查标题与搜索词的匹配、页面在同类结果里的差异。
4. 排名掉了：查最近改版、内容时效、外链变化。

四个症状对应四个环节，跳着处理会白费功夫。有人一上来就改标题，实际卡在抓取那一层，改十次标题也没用。

卡在哪：5 个常见坑

1. 把提交当成收录：提交只进队列，入不入库由系统判断。
2. 批量生成同模板页面：抓取正常但几乎不入库，还拖累整站评价。
3. 改版不做跳转：老地址全变 404，已收录页面集体消失。
4. 参数页不处理：同一内容几十条地址，索引被摊薄。
5. 只盯发文量：发了不查索引，问题积累到一个月才发现。

第二与第四个坑经常一起出现。列表页带筛选参数，模板页面按地区批量生成，两者叠加，索引里塞进大量低差异地址，真正想推的页面反而排不上。

第一个坑的说法值得改一改。把提交理解成“通知系统有新地址”，而不是“要求收录”，预期就对了。通知之后要看索引量有没有涨，没涨再往下查。

规则会调整，上面这些分类按 2026 年 11 月的观察整理。具体判断时，按搜索资源平台后台当时的提示与日志数据核对。本文信息核对时间：2026-11。

新站点与老站点的差别

同一套规则，新域名与老域名遇到的情况不一样。

新域名有考察期。抓取频次给得克制，收录速度慢，同一个页面的评估次数也更少。这段时间里频繁改版、改标题、改地址规则，都会让考察期重新计时。

老域名有历史包袱。以前批量生成的低质页面、失效地址、被处罚的记录，都会拖累新页面的评估。清理死链、合并重复页、把没内容的栏目下线，比继续发新文章更优先。

我处理过一个 5 年的老站，索引量一直在 3000 条上下不动。查下来是 3 年前留下的两万条参数页占着索引，删掉大部分之后，新页面的收录速度在 2 周内明显变快。

考察期怎么熬

三件事：稳定更新、结构别动、把内链理顺。

稳定更新的意思是每天或每周固定节奏，别一天发 20 篇然后停两周。结构别动指的是栏目、地址规则、模板保持一致，改一次要重新评估。内链理顺是让新页面从首页 3 次点击内能到。

三件事做满 6 周，再看索引量曲线。这期间盯着排名变化没有意义，考察期的排名波动很大。

一份可以照着做的周检查

每周固定看五个数，比每天刷排名有用。

第五行的组合最能说明问题。展现涨而点击不涨，问题在标题与摘要；展现与点击一起不涨，问题在排名或抓取。

第四行容易被忽略。服务器偶尔 5xx，爬虫会降低来访频次，恢复要几天。查日志时把 5xx 单独统计，占比超过 1% 就该查负载与超时设置。