ai收录规则有哪些类型?4类现象逐条对,每条给1个判断动作

1小时前发布

内容从发布到出现在 AI 答案里,要过 4 类规则:抓取规则、索引规则、内容准入规则、引用偏好规则。4 类里只有前 2 类有公开文档,后 2 类只能靠观察归纳。这份清单覆盖 4 类共 12 条可核对的现象,给要判断"自己的页为什么没被引用"的人用。

我把平台说明、开发者文档和自己 2 年攒的观察记录放在一起对过 1 遍。能被公开文档确认的只有 4 条:robots 协议、抓取频次限制、结构化标记、内容时效标注。剩下 8 条都是从结果反推的,写进报告时我会标"观察结论",不当规则用。

按 4 类分开写,每条写清现象、在哪能看到、怎么判断。

分类维度:按关卡顺序分

4 类的顺序跟内容走的路径一致:先被爬到,再被存进索引,再被判定够不够格,最后在出答案时被挑中。前一关没过,后一关的动作都没有意义。判断自己卡在哪一关,用 4 个数字:抓取次数、索引页数、有效页面占比、被引用次数。

类别管什么有没有公开文档对应数字
抓取规则爬虫能不能来、来多勤有1 天抓取次数
索引规则页面存不存、留多久部分有索引页数
内容准入页面够不够格进候选无有效页面占比
引用偏好出答案时挑谁无被引用次数

这张表里"有没有公开文档"这 1 列很要紧。有文档的按文档做,没文档的只能按观察做,2 类动作的风险不一样。把观察结论写成"平台要求",后面 1 次算法调整就会让整份报告作废。

桌面上摊开的纸张与一支黑色签字笔

名单:4 类 12 条现象

第 1 类 抓取规则

  1. robots 协议。现象是日志里爬虫只抓首页不抓内页。在哪看:服务器日志与 robots 文件。判断动作:检查有没有误挡目录,1 个星号写错能挡掉整个栏目。
  2. 抓取频次。现象是 1 天来 3 到 5 次。在哪看:日志按 UA 分类统计。判断动作:频次低时先看站点响应时间,超过 2 秒的页面被抓得少。
  3. 渲染方式。现象是抓到的页面正文为空。在哪看:抓取日志里的响应体长度,或平台的抓取诊断。判断动作:把正文放到服务端输出,别全靠前端渲染。

3 条里第 3 条排查最费时间。1 个客户的站用前端框架渲染正文,日志显示爬虫每次只拿到 200 字节的壳,正文 1 个字没进。改成服务端输出后第 6 天开始有内页进索引。

第 2 类 索引规则

  1. 重复内容。现象是同 1 篇内容在 3 个地址下都能打开。在哪看:站内搜索标题,看结果条数。判断动作:用 1 个规范地址,其他地址跳转过去。
  2. 页面质量判定。现象是页面被抓但长期不索引。在哪看:索引量与抓取量的比值。判断动作:比值低于 30% 时,先删薄页再谈优化。
  3. 时效与更新。现象是老页面排名慢慢后移。在哪看:页面上有没有核对时间。判断动作:给核心页面加最后更新日期,半年内至少改 1 次。

第 2 条这个比值我每月算 1 次。1 个站抓取 300 次、索引新增 12 页,比值 4%,说明抓的大多是不值得收的页面。这类站补内容没用,先做减法。

书架前的资料夹与金属书立

第 3 类 内容准入

  1. 信息密度。现象是页面字数够但答案抓不出来。在哪看:把正文前 200 字单独读 1 遍。判断动作:前 100 字内给结论,别先铺背景。
  2. 结构可抽取。现象是通篇连续段落。在哪看:页面里 h2、表格、编号清单各有几个。判断动作:1 篇至少 3 个小标题加 1 张表。
  3. 来源可核。现象是文中数字没有出处。在哪看:数字后面有没有机构名与年份。判断动作:能标注的标上,标不上的删掉。

3 条里第 2 条改动成本最低。我把 6 篇旧文按"加 3 个小标题 + 1 张表"改过 1 遍,字数没变,2 周后其中 3 篇开始出现在答案的参考来源里。样本小,只能当方向参考。

第 4 类 引用偏好

  1. 标题与问句匹配。现象是内容对但从不被引用。在哪看:平台答案框里的引用标题写法。判断动作:把标题改成用户会问的那句话。
  2. 答案前置。现象是被引用时只截到背景段。在哪看:答案里引用的那段文字。判断动作:把结论挪到第 1 段,删掉铺垫。
  3. 来源集中度。现象是同类问题总引用同 2 到 3 个域名。在哪看:20 个问句的引用来源统计。判断动作:按这些页面的形态改自己的页,不照抄内容。

第 3 条最值得每月看 1 次。20 个问句的引用来源里,如果 60% 集中在 3 个域名,说明这几家的页面形态对得上平台的抽取方式。看形态比看内容有用,抄内容只会变成第 4 个同质页面。

怎么核验这些判断

  1. 按 4 类各取 1 个数字,做成 1 行 4 列的月表,连续记 3 个月。
  2. 每次改动只动 1 类,观察 14 天再动下一类,避免多个变量混在一起。
  3. 被引用次数用固定 10 到 20 个问句每周问 1 遍,只记是否出现,不记位置。

3 步做完,1 个站的问题大致能定位到 1 类。我经手的站里,卡在第 1 类的占 4 成,卡在第 3 类的占 3 成,剩下 3 成分散在索引与引用。

笔记本旁边的放大镜与便签

按站点阶段选用哪几条

新站先做第 1 类的 3 条,抓取不通其他都免谈。有量但在掉的站先做第 2 类的 2 条,看是不是页面被合并。内容量大但引用少的站做第 3 类与第 4 类,改形态比加数量快。3 个阶段别跨着做,1 次动 1 类,14 天 1 轮。

月表怎么记才看得出变化

1 张表 5 列:月份、抓取次数、索引页数、有效页面占比、被引用次数。每月固定 1 天取数,取数日写进日历,隔 1 天取会让数字对不上。5 列填满 3 个月,趋势才看得清。

第 4 列的计算方式是索引页数除以抓取次数。这个比值掉下去,说明抓的多是不值得收的页;比值平稳而第 5 列不动,说明形态有问题。我手上 1 个站的比值从 22% 掉到 8%,处理掉 120 个薄页后回到 19%,用时 6 周。

取数这天别改站点。改版、发新稿、清缓存都挪到取数之后,1 次改动能把 1 个月的曲线拉歪。我吃过 1 次亏,取数当天清了一次缓存,抓取次数当天跳到 3 倍,那个月的比值没法用。

5 个常见坑

  1. 把观察结论写成平台规定。算法调整后报告就站不住,写清"观察"2 个字能保住可信度。
  2. 用索引量当唯一指标。索引涨了但引用没涨的情况很常见,2 个数字要一起看。
  3. 1 次改 100 个页面。出问题时找不到原因,1 批 10 到 20 个够用。
  4. 把同质内容当覆盖。10 篇同题文章不如 1 篇讲透的,薄页多了会拉低整站比值。
  5. 忽略日志。日志能直接看到爬虫抓了哪个地址、返回多少字节,不看的站只能靠猜。

第 5 条我强调过很多次。站内工具给的数字都是加工过的,日志里能看到具体抓了哪个地址、返回多少字节、什么时间来的,这 3 项一对,问题基本就浮出来了。

第 5 列只记是否出现,别记第几条。20 个问句里出现 6 个以上,就算有起色,继续按原方向改形态;低于 3 个,回第 3 类重做,别急着加新内容。

本文信息核对时间:2026-11