收录规则可以归成 4 类:已抓取且已建索引、已抓取未建索引、发现但没抓取、被规则排除在外。判断自己属于哪一类,靠 3 样东西:服务器日志里的蜘蛛记录、搜索资源平台的索引量页面、site 语法的查询结果。4 类对应的处理动作完全不同,搞错方向会白做几周。
收录这件事只有 2 个开关:抓不抓、收不收。抓取由蜘蛛的调度决定,收录由页面质量与重复度决定。两个开关组合出 4 种状态,就是下面这份清单。
| 状态 | 抓取 | 索引 | 日志里能看到什么 |
|---|---|---|---|
| 已收录 | 抓过 | 已建 | 近 30 天有 200 响应记录 |
| 已抓未收 | 抓过 | 未建 | 有 200 记录,但 site 查不到 |
| 发现未抓 | 没抓 | 未建 | 日志里只有首页与列表页 |
| 被规则排除 | 抓过或拒抓 | 不进 | 有 403、404 或 robots 拦截记录 |
这是正常状态。日志里能看到状态码 200 的抓取记录,site 语法能查到这条 URL,索引量页面有对应条目。要做的只有一件事:守住。守住的意思是别再改 URL 结构、别动标题里的主词、别把正文删减一半。
判断是否真的在索引里,别只看 site 结果的第一页。用完整 URL 加双引号搜一次,能出来说明在库里。用这个办法核过 1 个站点,site 显示 300 多页,逐条核对实际可查的只有 190 多条。
日志有 200 记录,site 查不到,索引量不涨。原因集中在 3 处:内容与站内其他页重复度高、页面信息量太少、整站质量评分不够。这一类的特征是蜘蛛来过、评过,最后没给位置。
处理动作按顺序做:先把重复的 2 到 3 篇合并成 1 篇,删掉其余;再给页面补上具体数字、时间、可核对的细节;最后从已有收录的页面加 1 条内链指过来。3 步做完等 2 到 4 周再看。
这一类最容易被误判成「内容不行」。实际原因在抓取调度:站点抓取频次低、新页面层级太深、sitemap 里的排序把新页排到了几千条之后。日志里的表现是只有首页和列表页在被抓,详情页一条记录都没有。
处理动作是提升可发现性。把新页面挂在离首页 3 次点击以内,从列表页与相关文章正文各加 1 条链接,sitemap 里把新页放在靠前的位置。这 3 件事做完,抓取频次正常的话 3 到 7 天能看到第一次抓取。
我排查过一个问答站,连续 3 批新内容零抓取。查日志发现蜘蛛抓的全是 id 靠前的老页,新页一条没有;再对 sitemap,发现新页被排在最后几千条。把顺序调过来之后,第 4 天开始有新页被抓。
这一类的问题出在自己身上,与内容质量无关。常见的 4 种情形:robots.txt 里写了 Disallow 挡住了整段目录、页面头部有 noindex 标签、canonical 指向了别的 URL、链接被 301 跳到别的地址。
排查从 robots 开始。用站长工具里的 robots 检测,把目标 URL 填进去,看返回的是允许还是禁止。再看页面源码里有没有 noindex,最后看 canonical 指向哪里。4 项逐个过,多数排障 10 分钟内能定位。
3 步下来,4 类里必然能对上 1 类。对不上说明日志不全或者蜘蛛 UA 被截断,先解决数据问题,别急着改内容。
第 2 类和第 3 类的处理顺序不能反。见过先改标题的,改完蜘蛛还是不来,白等 1 个月。抓取没解决之前,页面写成什么样都没人看。
每个站点每天能分到的抓取次数有上限,这个上限由站点质量与更新频率共同决定。新站起步时可能只有每天几十次,权重上来后能到几百次。预算有限时,蜘蛛会优先抓它认为值得抓的页。
这就解释了两件事。一件是新站发得多不等于收得多,预算被摊薄,单个页面被看到的概率下降。另一件是改版后老页的抓取会挤掉新页,因为老页的历史数据更完整。
第 3 条是实操心得的总结。提交 URL 只影响发现,不改预算分配;入口链接既影响发现,也影响权重传递,两件事一次做完。
状态一:收录后被移出。日志里有大量 200 记录,site 却查不到,索引量在掉。常见原因是内容被判定为低质或重复,也可能是站点整体降权。处理方向是先把明显重复的页合并,再补 3 到 5 篇有具体数据的新内容,观察 2 到 4 周。
状态二:抓取异常。日志里出现 5xx 或大量 429,说明服务器在拒绝蜘蛛。5xx 查程序与数据库负载,429 查限流配置。这一类不解决,内容写得再好也进不去。
这 2 种状态容易被误判成第 2 类与第 3 类。区分办法是看状态码:有 200 记录才算「抓到了」,出现 5xx、429、403 都算技术问题,先修通再说。
还有一种情况是站点被整体处理。表现是索引量在 1 到 2 周内掉掉一半以上,日志里蜘蛛来访骤减。这一类要回看是否做了大改版、是否批量删过页、是否换过域名。处理顺序是先稳住服务器与结构,再按周观察,别急着发新内容冲量。
观察期至少要 4 周。搜索引擎对站点的评估有滞后,改完第 2 天没变化很正常。每周固定同一天记 1 次索引量,4 个数据点才能看出方向。这 4 个数不需要精确到个位,量级对得上就够用。
坑一:把索引量当成收录量。索引量是估算值,与 site 查到的条数常有差距,两者都只能看趋势,不能当准数。
坑二:抓取频次低就去刷。短时间内大量提交、反复提交同一批 URL,会让频次进一步下降。频次是慢慢养回来的。
坑三:新站期就大批量发。新域名前 3 个月的抓取预算很小,一天发 50 篇,能被抓的往往不到 5 篇。先发 10 篇,等抓取稳定再加量。
坑四:只看首页数据。首页有抓取不代表内页有,很多站的问题就出在内页层级上,首页数据看着一切正常,内页却 1 条记录都没有。
本文信息核对时间:2026-11