ai收录规则有哪些类型?5类对着抓取日志看

50分钟前发布

AI 侧对内容的收录规则大致分 5 类:抓取准入、重复内容归并、正文质量筛选、时效与更新、来源可信度。5 类规则都能在站点日志与页面状态里找到对应痕迹,不用猜,按下面 5 个观察点逐个对。

我在 3 个站上连续看了 40 多天日志,最直接的结论是:抓了不等于收了,进了语料不等于会被引用。这 2 件事的判定规则不一样,混在一起看就会得出「抓取正常所以没问题」的错判。

分类维度:按判定发生的位置分 3 层

第 1 层在爬虫来之前,规则写在 robots.txt 与站点访问控制里,决定能不能抓。第 2 层在抓取之后,判断这页值不值得留,涉及去重与质量。第 3 层在生成答案时,决定这次要不要引用它。

3 层规则的作用对象不同,排查顺序要从第 1 层往上走。第 1 层就过不去,后面 2 层再优化都是空转,这是最常见的错误起点,也是最容易纠正的一步。

深色桌面上摊开的打印清单与红色铅笔

名单:5 类规则逐个看

第 1 类:抓取准入

规则写在 2 个地方:robots.txt 的 Disallow 段、页面的 meta 或响应头里的 noindex。前者决定爬虫能不能进,后者决定进了能不能留。

常见误配是把整站目录屏蔽掉做测试,上线后忘了删。日志上的表现是爬虫只抓首页,内页 1 条记录都没有,而站点访问量一切正常,很容易被忽略。

核验办法很土:直接用文本方式打开 robots.txt 看那几行,再抽 3 个内页看 HTML 头部有没有 noindex。2 步花 5 分钟,比看 1 周日志快。

第 2 类:重复内容归并

同 1 篇内容出现在多个 URL 上时,只留 1 个主版本,其余归并。表现形式有 3 种:带参数的列表页、PC 与移动 2 套域名、同一文章的 2 个栏目路径。

日志里的特征是爬虫对 2 个相似 URL 都抓,但只有 1 个页面被反复回抓,另 1 个抓 1 次就不再来。被冷落的那个,就是被判定为重复的。

解法是给主版本加 canonical 标记,把 2 个 URL 的关系写清。加了之后再看 2 周日志,回抓会集中到 1 个 URL 上,另 1 个抓取量降到接近 0。

第 3 类:正文质量筛选

这条规则看 4 个指标:正文占比、段落完整度、是否有结构化信息、是否有可核的实体。正文占比低的页面,比如导航与广告占大半,留下来的概率低。

我的实测结论是正文 800 字以下的页面,进语料的概率明显低于 1500 字以上的。同一站点里,2000 字左右带 1 个表格的页面,被抓后 7 天内的二次回抓率高出 1 倍。

观察点日志上的表现说明
抓取频次同 1 个 UA 对某目录的请求数频次掉说明入口或权重有变化
状态码分布200 与 304 的比例304 多说明内容没更新
回抓间隔同 1 个 URL 两次抓取的时间差间隔拉长说明关注度下降
抓取深度单次会话里进入的层数只抓第 1 层说明内链断了

表格第 3 行是我最常看的一项。新发的文章如果 3 天内没有回抓,基本可以判定这批内容没被认可,改标题与首段比继续发新稿更划算。

第 4 类:时效与更新

带时间属性的内容会被判定新鲜度。政策、价格、活动这类词,超过 6 个月的页面在答案里被引用的概率下降,页面上的时间标注会被读进去。

更新不是改个日期就行。正文实质内容有增量,才算 1 次有效更新;只改标题或加 1 句「本文已更新」,容易被判成无意义变更,反而不如不动。

判断有没有踩这条,看日志里 304 与 200 的比例。全是 304 说明内容确实没变,全是 200 但正文没动,说明模板里的时间戳在每次请求时都变,容易让爬虫反复抓同一份内容。

第 5 类:来源可信度

这条最不容易直接观察。判断依据包括站点历史、内容一致性、是否有明确的责任主体与联系方式。答案里被引用时,来源的稳定性比单篇质量更重要。

可观察的替代指标有 2 个:同 1 个主题下被多次抓取的页面比例、被引用后是否带来回访。前者看日志,后者看 referer,2 个都在动说明来源在被逐步认可。

显示器与键盘的一角

怎么核验:3 个动作

  1. 数 1 天日志里爬虫对正文页的请求数,占全部请求的比例低于 30% 就该查入口。
  2. 抽 5 个新发页面,看 7 天内有没有二次回抓,没有就回头看第 3 类规则。
  3. 看 304 与 200 的比例,304 占多数说明这批内容长期没更新。

第 1 条的比例是我自己定的参考线,官方没有给阈值。不同站点结构差异大,用自己站点的历史数据做基线更准,比如上月均值是 45%,这月掉到 28%,就该查。

日志之外的 2 个旁证

第 1 个是页面的渲染请求。AI 侧在准备引用时,会用渲染服务把页面完整跑 1 遍,日志里表现为短时间连续请求多个接口。出现这类记录,说明这页正在被评估。

第 2 个是抓取时段的分布。稳定在固定时段抓取的,说明进了常规队列;全天内零散抓取,说明还在试探阶段,这 2 种状态对应的策略不一样。

5 类规则之间的先后

5 类排成 1 条链路,不是并列的 5 件事。准入过了才谈归并,归并过了才谈质量,质量过了才看时效,时效与质量都稳了才轮到可信度。前 1 环断了,后 1 环再怎么优化都不显效。

我按这条链路排查过 1 个站:索引量 40 页卡了 5 个月,先查准入没问题,再查归并发现 2 个域名指向同一份内容,主版本没标清。加 canonical 之后 3 周,索引量到 90 页。

链路判断还有 1 个用处:解释「为什么改了没用」。改标题属于第 3 环的动作,如果卡在第 1 环,改 100 个标题也不会有变化,这是最常见的无效投入。

多久能看出效果

第 1、2 环修完,2 周内能看出抓取与回抓的变化。第 3 环要 1 到 3 个月,第 5 环要 3 到 6 个月。按这个节奏排计划,就不会在第 2 周就怀疑方向错了,也不会刚改完就急着要结果。

书架上立着的文件夹与标记贴

怎么选:先改哪一类

按投入产出排,先修第 1 类,再修第 2 类,第 3 类跟内容生产同步做。前 2 类修 1 次管长期,第 3 类每篇都要花时间,顺序反了会一直返工。

第 5 类不用刻意做。站点稳定更新 3 到 6 个月、每篇都有责任主体与联系方式,这类指标会自己往上走,专门去刷反而容易出问题。

常见坑 3 条

坑一,把抓取量当收录量。抓取数是爬虫来了几次,收录数是进了几个页面,2 个数差 1 个量级是常态,别看错。

坑二,以为 sitemap 提交了就会抓。提交只是给了入口,抓不抓还看第 1 类规则与站点权重,提交后 1 周没动静要查入口,不是继续加提交量。

坑三,全站一次性改版。改版当天所有 URL 变化,等于把前面的积累清零,分栏目改、保留旧 URL 跳转,风险小得多。

回到问题:AI 收录规则就是 5 类,抓取准入、重复归并、质量筛选、时效更新、来源可信度。5 类里前 2 类修 1 次长期有效,后 3 类跟着内容节奏走,按这个顺序排查不会白忙。

本文信息核对时间:2026-11