ai收录规则怎么看?用站点日志里这3行判断

2小时前发布

收录规则大致分 6 类:主动提交、被动发现、质量筛除、时效优先、增量与重抓、以及面向 AI 摘要的引用筛选。这 6 类不是并列关系,前 2 类决定「能不能被发现」,中间 2 类决定「收不收」,后 2 类决定「收得快不快、会不会被引用」。查收录卡在哪,先分清卡在哪一类。

下面按类型的顺序写,每类给 1 个可核对的做法。全部动作在站点后台和服务器日志里能验证,不需要第三方工具。

按作用分 3 组

6 类分 3 组看,判断会快很多。

  1. 发现层。主动提交与被动发现,解决蜘蛛知不知道有这 1 页。
  2. 准入层。质量筛除与时效优先,解决蜘蛛知道了之后收不收。
  3. 节奏层。增量与重抓、AI 引用筛选,解决收得快不快、能不能被摘出来。

卡在发现层的表现是日志里根本看不到蜘蛛来这一页。卡在准入层的表现是来了、抓了,索引量不涨。卡在节奏层的表现是收录了,但 AI 摘要里始终不出现。

6 类逐条核

第 1 类 主动提交

3 个入口:站点地图、接口推送、站长后台的手动提交。站点地图放在站点根目录,路径写进 robots.txt 的 Sitemap 行;接口推送按平台给的地址发,每天有配额,剩余次数在后台能看到。

这类规则的特点是「有上限」。配额用完当天就推不进去,第 2 天恢复。写稿速度快的站,常在下午就把配额打满,晚上发的文要等次日。

第 2 类 被动发现

蜘蛛顺着链接爬。3 条路径:首页到栏目页到详情页的内链、站点地图里的列表、以及外部链接。内链断 1 处,那条线上的页面就没了入口。

我遇到过 1 个典型情况:469 条问答在数据库里的分类字段写成了 0,结果所有列表页都查不到它们,蜘蛛没有入口,1 个月零抓取。内容本身没问题,问题出在发现路径。

第 3 类 质量筛除

抓了不一定收。筛除的触发点有 4 个:页面内容与标题不符、正文过短、与站内已有页面高度重复、以及整站被判定为采集。

判断办法看索引量的变化。抓取频次涨、索引量不动,多半卡在这一类。这时改内容比加外链有效。

第 4 类 时效优先

带时间属性的词有单独的抓取节奏,比如政策、价格、赛事。这类页面写了具体时间点,进索引的速度快于常青内容,但过期后会被降权。

做法是页面上写清核对时间,改成新版时保留旧地址并更新正文,别新开 1 个地址。旧地址有积累,新地址从零开始。

屏幕上滚动的代码式文本界面

第 5 类 增量与重抓

蜘蛛对已收录页面有重抓周期,周期长短看更新频率。稳定更新的站,重抓间隔会缩短;半年不动的页,重抓间隔会拉长到几个月。

这条对老文有用。1 篇 1 年前的文想重新拿排名,改标题和首段、补 2 到 3 段新内容,比新写 1 篇快。改完在后台提交 1 次,重抓会提前。改动幅度别太大,标题和正文同时大改,容易被当成新页面重新评估。

第 6 类 AI 引用筛选

进 AI 摘要的前提是已收录。收录之后还要过 1 层筛选:内容是否可抽取。写成 1 大段的长文,被摘走的概率低于分成小节的写法。

可核对的做法是把关键结论写成 1 句能独立成立的话,放在小节首句。摘要系统抓的就是这类句子,段落中部的解释通常被跳过。

桌面上摊开的打印表格与笔

怎么核验卡在哪一类

4 个数据源对着看,10 分钟能定位。

看什么在哪看说明什么
蜘蛛访问日志服务器日志里的爬虫 UA有没有来、来了抓哪几页
索引量搜索资源平台的索引数据收了多少,按周看趋势
抓取频次资源平台的抓取统计按天看,比索引量灵敏
推送配额资源平台的提交记录当天还剩多少条可推

表里第 1 行要先合并日志的长行。UA 被换行截断后,逐行匹配会 0 命中,得先按「IP 加时间」的起始行把逻辑行拼回来。我第 1 次分析时漏了这步,得出「蜘蛛没来」的错误结论。

表里第 3 行比第 2 行灵敏。索引量按周更新,抓取频次按天更新。频次从每天 30 次涨到 300 次,通常 2 周后能看到索引增加。

办公桌上的显示器与键盘

站点规模不同,侧重点也不同

同样 6 类规则,1000 页以内的站和 10 万页的站,该先修的不是同一处。

1000 页以内的站,先把第 1 类和第 2 类做扎实。页面少,蜘蛛来得也少,主动提交和站点地图是主要入口。这个阶段每天推 10 到 30 条,比一次推 200 条有效,量太大反而被当成低质站。

1 万页以上的站,重点转到第 3 类和第 5 类。页面多,筛除和重抓的规则在起主要作用。要看的是「抓了不收」的比例和「老页多久被重抓 1 次」,这两项决定整站的收录效率。

不管规模,第 4 类和第 6 类是加分项。带时间标注的内容进索引快,但需要持续更新;可抽取的写法能提高 AI 引用率,但改 1 次就够,不必反复调。

我手上 1 个 400 多页的站,前 2 个月一直在改内容,收录几乎不动。第 3 个月发现问题在栏目页输出空列表,蜘蛛爬到就退回,修完第 2 周开始有页面进索引。规模小的站,先把路修通,内容放到第 2 位。

按症状怎么选动作

6 类规则对应 6 种动作,别在错的地方使劲。

  1. 日志里没有蜘蛛。查内链和站点地图,先修发现路径。
  2. 来了只抓首页。查栏目页有没有正常输出,列表为空时蜘蛛会退回。
  3. 抓了不收录。查内容长度、重复度、标题与正文是否一致。
  4. 收录了没排名。改标题和首段,补具体数字和可核对的事实。
  5. 排名掉了。查页面是否被改坏、是否有同站页面抢同一批词。
  6. AI 摘要不引用。把结论改成独立短句,放到小节首句。

第 2 条最容易被忽略。栏目页输出空列表,蜘蛛爬到 1 个空页就退回,后面整条线都不抓。这类问题在日志里表现为「栏目页抓 1 次,详情页 0 次」。

4 个常见坑

  1. 以为提交了就会收。提交只解决发现,收不收还看内容。
  2. 一天内反复提交同一批页面。重复提交会占配额,不加快收录。
  3. 把索引量当排名看。索引只是入库,排名是另一套计算。
  4. 新站按老站的节奏推。新站信任度低,同样的量推不进去,先做 2 到 3 个栏目。

第 4 条我的体会是规模要压住。开站前 3 个月每天推 20 到 30 条,比一次推 200 条有用,量太大会被当成低质站处理。各平台的具体规则和配额会调整,看后台的当日提示。

补 1 个排查顺序:先看日志有没有蜘蛛,再看抓了哪几页,最后看索引量。顺序反了容易得出错误结论。我第 1 次分析时先看索引量,得出「完全没收录」的判断,回头翻日志才发现蜘蛛天天来,只是抓的全是标签页和接口地址,正文页 1 次没抓。这类误判会让人去改内容,白费 1 个月。

本文信息核对时间:2026-11