影响一个页面能不能进索引、能在索引里待多久的规则,常见的有 7 类:抓取许可、索引许可、重复内容、内容质量、时效衰减、访问权限、站点地图与提交。7 类里前 2 类是硬开关,后 5 类决定排位能走多远。
这 7 类规则都不写在 1 份文档里。抓取与索引许可见搜索引擎的站长文档,其余 6 类由算法判断,只能通过日志与搜索结果反推。这份清单把每类的判断依据与可操作的动作列出来。
3 段是串联的,前一段不通,后一段的动作全部无效。把 7 类规则按这 3 段归位,排查时就不会在质量层面找一个其实出在抓取层的问题。
管什么:爬虫能不能进。写在站点的 robots 文件里,Disallow 一行就能挡住整站或某个目录。
在哪查:浏览器打开域名加 /robots.txt,看有没有 Disallow: / 这种整站封禁。改完 1 到 2 天生效,不需要重新提交。
管什么:抓到的内容是不是要登录。登录墙、验证码、地区限制,3 样都会让爬虫只看到 1 个空壳页面。
在哪查:用不带登录状态的浏览器打开目标页,看到的与爬虫看到的一致。内容藏在登录后,索引里就只有标题。
管什么:页面能不能进库。2 个标记说了算,页面头部的 noindex,以及规范链接指向别的页面。
在哪查:看页面源代码里的 meta 标签,或响应头里的 X-Robots-Tag。规范链接指错,整站页面会被并成 1 条。
管什么:多个地址指向同一内容时,留哪 1 条。带参数的列表页、http 与 https 并存、带不带 www,3 种情况最常见。
在哪查:搜索 site 加域名,看结果里有没有同一标题出现 3 次以上。有就说明去重没做,权重被摊薄。
管什么:进了库的内容值不值得留。判断依据不对外公开,能观察到的规律是:答完 1 个具体问题、有可核事实、结构成段的页面,留存率高。
在哪查:搜索后台的「覆盖率」与「抓取统计」里,看「已抓取未编入索引」这一项,数字大说明质量判断没过。
这一类的改法最朴素:把页面写成能独立回答一个问题的样子,标题说清问什么,正文给条件与例外,末尾给核对方法。这样的页面被留下的概率明显更高。
管什么:老页面的排位会随时间下滑。政策、价格、版本号这类内容衰减快,操作步骤与常识类衰减慢。
在哪查:对比同一页面 3 个月前的展现量与现在的展现量。跌 5 成以上,先把页面上的年份、版本、数字更新 1 遍再观察 2 周。
管什么:告诉搜索引擎有哪些新页面,以及上次改动时间。它属于加速通道,收录与否仍由质量判断决定。
补充 1 点:地图里的最后改动时间要真实。把全站时间统一改成当天,会被判为无效更新,后续提交的优先级反而降低。
在哪查:打开站点地图地址,看能不能正常返回内容、条目数与实际页数是否差距过大。差距超过 3 成,说明生成逻辑有问题。
| 规则 | 管哪一段 | 检查位置 | 失效表现 |
|---|---|---|---|
| 抓取许可 | 进站点 | robots 文件 | 全站零抓取 |
| 访问权限 | 进站点 | 无登录状态访问 | 只抓标题不抓正文 |
| 索引许可 | 进索引 | meta 标签与响应头 | 抓了不进库 |
| 重复内容 | 进索引 | 搜索结果去重情况 | 同标题多条并存 |
| 内容质量 | 进索引 | 抓取统计中的未编入项 | 抓取正常但索引不动 |
| 时效衰减 | 留在索引 | 3 个月展现量对比 | 排位持续下滑 |
| 站点地图 | 留在索引 | 地图地址与条目数 | 新页面迟迟不进库 |
表里「失效表现」这一列是排查的起点。看到「抓了不进库」,先查索引许可与内容质量;看到「全站零抓取」,先查 robots 与访问权限。
第 2 步最直接。日志里能看到爬虫抓了哪些地址、拿到什么返回码,比后台报表细。返回 200 但内容为空,问题在渲染环节,不在许可。
我上个月查过 1 个站,索引停在 40 条不动,日志里爬虫每天来 200 次,返回码全 200。最后定位到分类页的规范链接全部指向首页,整站被并成了 1 条,后台报表上完全看不出异常。改完规范链接,第 9 天索引涨到 160 条。
按串联顺序修,别跳。抓取许可与访问权限是 0 或 1 的判断,花 10 分钟就能确认;索引许可与重复内容是配置项,改 1 次生效 1 到 2 天;内容质量与时效衰减要动内容,按周算,内容层面的改动 1 次只动 1 个变量。
站点地图放在最后优化。它是加速通道,前面 6 类没通,提交再多也只在「已发现」里堆着,不会进「已编入」。
第 1 个是站点年龄与历史表现。新站前 3 个月处在观察期,同样的内容,老站 3 天进库、新站要 3 周,这段差异与规则无关。
第 2 个是同类内容的存量。一个搜索词下已经有 500 篇内容,新写的 1 篇即使合规也难排到前面,同理,冷门词 1 篇就能占位。
2 个变量都改变不了,能改的是选词。新站优先做存量少的词,先把索引铺开,再回头做热词。这个顺序比硬碰热词快 2 到 3 个月。
判断存量很简单。搜目标词,看结果条数,条数在 1 万以下的先做,10 万以上的放后面。条数在搜索结果页顶部能直接看到。
第 4 条最容易被忽略。列表页带分页参数、带排序参数、带追踪参数,同 1 批内容能生成几十个地址,权重就是这样被摊掉的,用规范链接指到主地址,1 周内能收回大半。
本文信息核对时间:2026-11