内容从发布到出现在 AI 答案里,要过 4 类规则:抓取规则、索引规则、内容准入规则、引用偏好规则。4 类里只有前 2 类有公开文档,后 2 类只能靠观察归纳。这份清单覆盖 4 类共 12 条可核对的现象,给要判断"自己的页为什么没被引用"的人用。
我把平台说明、开发者文档和自己 2 年攒的观察记录放在一起对过 1 遍。能被公开文档确认的只有 4 条:robots 协议、抓取频次限制、结构化标记、内容时效标注。剩下 8 条都是从结果反推的,写进报告时我会标"观察结论",不当规则用。
按 4 类分开写,每条写清现象、在哪能看到、怎么判断。
4 类的顺序跟内容走的路径一致:先被爬到,再被存进索引,再被判定够不够格,最后在出答案时被挑中。前一关没过,后一关的动作都没有意义。判断自己卡在哪一关,用 4 个数字:抓取次数、索引页数、有效页面占比、被引用次数。
| 类别 | 管什么 | 有没有公开文档 | 对应数字 |
|---|---|---|---|
| 抓取规则 | 爬虫能不能来、来多勤 | 有 | 1 天抓取次数 |
| 索引规则 | 页面存不存、留多久 | 部分有 | 索引页数 |
| 内容准入 | 页面够不够格进候选 | 无 | 有效页面占比 |
| 引用偏好 | 出答案时挑谁 | 无 | 被引用次数 |
这张表里"有没有公开文档"这 1 列很要紧。有文档的按文档做,没文档的只能按观察做,2 类动作的风险不一样。把观察结论写成"平台要求",后面 1 次算法调整就会让整份报告作废。
3 条里第 3 条排查最费时间。1 个客户的站用前端框架渲染正文,日志显示爬虫每次只拿到 200 字节的壳,正文 1 个字没进。改成服务端输出后第 6 天开始有内页进索引。
第 2 条这个比值我每月算 1 次。1 个站抓取 300 次、索引新增 12 页,比值 4%,说明抓的大多是不值得收的页面。这类站补内容没用,先做减法。
3 条里第 2 条改动成本最低。我把 6 篇旧文按"加 3 个小标题 + 1 张表"改过 1 遍,字数没变,2 周后其中 3 篇开始出现在答案的参考来源里。样本小,只能当方向参考。
第 3 条最值得每月看 1 次。20 个问句的引用来源里,如果 60% 集中在 3 个域名,说明这几家的页面形态对得上平台的抽取方式。看形态比看内容有用,抄内容只会变成第 4 个同质页面。
3 步做完,1 个站的问题大致能定位到 1 类。我经手的站里,卡在第 1 类的占 4 成,卡在第 3 类的占 3 成,剩下 3 成分散在索引与引用。
新站先做第 1 类的 3 条,抓取不通其他都免谈。有量但在掉的站先做第 2 类的 2 条,看是不是页面被合并。内容量大但引用少的站做第 3 类与第 4 类,改形态比加数量快。3 个阶段别跨着做,1 次动 1 类,14 天 1 轮。
1 张表 5 列:月份、抓取次数、索引页数、有效页面占比、被引用次数。每月固定 1 天取数,取数日写进日历,隔 1 天取会让数字对不上。5 列填满 3 个月,趋势才看得清。
第 4 列的计算方式是索引页数除以抓取次数。这个比值掉下去,说明抓的多是不值得收的页;比值平稳而第 5 列不动,说明形态有问题。我手上 1 个站的比值从 22% 掉到 8%,处理掉 120 个薄页后回到 19%,用时 6 周。
取数这天别改站点。改版、发新稿、清缓存都挪到取数之后,1 次改动能把 1 个月的曲线拉歪。我吃过 1 次亏,取数当天清了一次缓存,抓取次数当天跳到 3 倍,那个月的比值没法用。
第 5 条我强调过很多次。站内工具给的数字都是加工过的,日志里能看到具体抓了哪个地址、返回多少字节、什么时间来的,这 3 项一对,问题基本就浮出来了。
第 5 列只记是否出现,别记第几条。20 个问句里出现 6 个以上,就算有起色,继续按原方向改形态;低于 3 个,回第 3 类重做,别急着加新内容。
本文信息核对时间:2026-11