AI 收录规则有哪些类型，6 类规则与 4 步自查

AI 收录规则分 6 类：抓取许可、页面可解析、内容质量、时效信号、主体与来源、答案格式偏好。前 2 类决定能不能进来，中间 2 类决定值不值得留，后 2 类决定会不会被引用。逐类核 1 遍约 40 分钟，能定位 8 成「抓了不引用」的问题。

一、6 类规则按 3 层分组

分组依据是规则起作用的环节：进不来、进来了不建库、建库了不引用。3 层的排查动作完全不同，混在一起排查会白费时间。

1. 准入层（第 1 到 2 类）：爬虫能不能抓、抓到的内容能不能解析
2. 评估层（第 3 到 4 类）：内容够不够厚、更新够不够及时
3. 引用层（第 5 到 6 类）：主体清不清楚、答案结构合不合抽取习惯
4. 3 层是串联关系，前 1 层不通，后面 2 层做什么都看不到效果

二、6 类规则清单

每类写 4 件事：管什么、什么情况触发、怎么核验、出问题时改什么。核验动作都能量化，不靠感觉。

第 1 类：抓取许可要看 3 处

3 处分别是 robots.txt 的 Disallow 段、服务器的 UA 过滤规则、CDN 的防爬策略。第 3 处最隐蔽，防火墙默认会拦非常规 UA，小站被误拦的概率不低。核验办法是拿 6 个常见爬虫 UA 各发 1 次请求，看返回 200 还是 403。

1. robots.txt：确认目标目录没被 Disallow，1 个斜杠写错整站就抓不到
2. UA 过滤：查 nginx 或防火墙配置里有无 User-Agent 黑名单
3. CDN 防爬：看是否开了「人机识别」，开了之后爬虫常被判为机器
4. 频率限制：单 IP 每分钟请求数上限设得太低，抓 20 页就被限

第 2 类：可解析性是首要问题

正文靠 JS 渲染的页面，抓到的 HTML 里只有空壳。核验很简单：用浏览器的「查看网页源代码」打开页面，能看到正文文字就算可解析，只有框架代码就要改。1 个 2000 字的页面，改服务端渲染的工作量约 2 到 4 小时。

1. 看源代码：正文文字在不在 html 里，而不是在接口返回的 JSON 里
2. 看首屏：不开 JS 时首屏有无内容，空白说明渲染在前端
3. 看结构化数据：标题、日期、作者是否有标注，方便抽取
4. 看内链：正文里有 2 到 3 个站内链接，方便爬虫顺着走

三、4 步自查怎么做

按顺序查，每步都有 1 个明确结论。4 步全过还不出效果，问题就在内容本身，不在技术环节。

1. 第 1 步查入口：6 个 UA 模拟请求，全部返回 200 才算通过
2. 第 2 步查正文：源代码里能看到 80% 以上的正文汉字，算通过
3. 第 3 步查时效：页面有可见日期，且最近 90 天内更新过 1 次
4. 第 4 步查答案：抽 10 页，首段 100 字内有结论的页面不少于 6 页
5. 第 5 步查引用：用站内 20 个问句在 3 个 AI 平台各问 1 次，看有无提到自己

我们测过 1 个 300 页的站点，前 2 步就卡住了：robots.txt 里 Disallow 了 1 个目录，正好是全部文章列表页。放开之后 7 天，抓取量从每天 30 次涨到 400 次，但引用仍然为 0，问题落在第 4 步的答案结构上。

四、6 类规则的优先级怎么排

不能同时改 6 类，按投入产出排。判断依据有 3 个：改 1 次要不要动代码、影响是整站还是单页、多久能看到变化。

1. 先改第 1 类：改配置 10 分钟，影响整站，次日就能看到抓取量变化
2. 再改第 2 类：动模板，影响整站，3 到 7 天能看到抓取深度变化
3. 再改第 6 类：改文案结构，影响单页，2 到 4 周能看到引用变化
4. 第 3 类与第 4 类跟着内容生产节奏改，改 1 次管 1 批
5. 第 5 类放后面：补作者页与机构介绍，1 次性做完，之后不用反复动

抓取日志怎么看

日志是排查的起点。1 天的原始访问日志常有几万行，先按 UA 过滤再按状态码分组，10 分钟能看出问题在哪一层。

1. 按 UA 过滤：把 6 个常见爬虫 UA 单独拉出来，看每天各来多少次
2. 按状态码分组：200 与 403 分开统计，403 占比超过 30% 说明被拦
3. 按路径分组：看爬虫集中在哪几个目录，列表页没有说明入口没通
4. 看首次抓取延迟：发布后多久被抓，超过 7 天说明地图或内链有问题
5. 看回访：同一批 URL 7 天内有没有第 2 次抓取，没有说明内容没留住爬虫

引用层的 2 个具体动作

引用层要改的是页面写法，2 个动作见效最快：首段给结论、段落拆短并配表格。2 个动作改 1 个页面约 40 分钟，1 批 10 到 20 个页面。

1. 首段 100 字内写结论，把「随着…发展」这类开头整段删掉
2. 把超过 260 字的段落拆成 2 到 3 段，每段开头给 1 个小标题
3. 每个步骤单独成行，编号清楚，方便逐条抽取
4. 对比信息放表格，模型抽表格的准确率高于抽长段落

五、5 个常见坑

5 条都来自实际排查，第 1 条最容易被误判成「内容不行」。

1. 只提交 sitemap 不看 robots：地图提交了但目录被禁，爬虫照样进不来
2. 把 403 当正常：返回 403 时日志里只有 1 行，很容易漏掉
3. 页面能打开就等于能抓：人能看到，爬虫拿到的可能是空壳
4. 改了标题就以为改了内容：标题改 1 次，正文不动，抽取结果不变
5. 不看抓取日志：不看日志就不知道爬虫停在哪个目录，改全靠猜
6. 聚合页太多：1 个主题铺 10 个列表页，每页信息量少，容易被判为低质

六、改完怎么确认有效

3 个指标能看出变化：日抓取次数、单页平均抓取深度、被引用的问句数。3 个指标按周看，不看单日波动。

1. 日抓取次数：从日志里按 UA 统计，改完 7 天内应有 2 倍以上变化
2. 抓取深度：从入口页往下抓了几层，改完常见从 2 层到 4 层
3. 引用问句数：20 个问句里被提到的条数，改完 4 周内有 3 到 5 条算正常
4. 回访率：同一批页面 7 天内被再次抓取的比例，低于 50% 说明内容没吸引力
5. 入口页数量：站内入口页少于 5 个时，爬虫容易停在第 1 层，补 5 到 8 个分类页能明显加深抓取

3 层的关系可以用 1 组数字对照：抓取次数从每天 30 次改到 400 次，用时 7 天；正文可解析率从 40% 改到 95%，用时 3 天；引用从 0 到出现 3 条，用时 4 周。前 2 项是开关，第 3 项是累积。

6 类规则里，前 2 类属于技术配置，改完当天生效；后 4 类属于内容，见效要 2 到 4 周。先做技术再改内容，能避免把配置问题误判成内容问题。本文信息核对时间：2026-11，各平台抓取与引用规则按官方说明核对。