AI 收录规则有哪些类型：6 类逐条核对与 3 个指标

AI 收录相关规则分 6 类：抓取许可、站点地图、结构化数据、内容许可声明、更新时效、平台侧提交入口。这份清单给要把站点推进 AI 结果的企业技术与运营，每类写了管什么、在哪看、由谁改。

今年 7 月我帮 1 家做五金件的工厂过日志，发现 2 个 AI 爬虫 UA 连续 3 周零请求。查 robots.txt 才发现，1 行 Disallow: / 把包括搜索引擎在内的所有 UA 一起挡了，这行是 3 年前做测试时留下的。

一、按 3 个维度分组

规则名称各家叫法不同，按「谁执行」分组更清楚。

1. 站点自己执行的 3 类：抓取许可、站点地图、结构化数据。这 3 类写在服务器与页面里，改完即生效。
2. 双方共同约定的 2 类：内容许可声明、更新时效。前者由站点声明，后者由页面标注，平台侧各自解读。
3. 平台侧执行的 1 类：提交入口。能不能进、多久进，由平台审核决定。

二、6 类规则逐条核对

每条都写清查什么位置。第 4 列标了负责岗位，避免技术与会务互相等。

抓取许可怎么写

默认规则是 User-agent: *，写 Disallow: / 就等于全站拒绝。要按 UA 细分，就在文件里为每个 UA 单独起 1 段，段内写 Allow: /，段与段之间空 1 行。改完用浏览器直接打开 域名/robots.txt，确认返回的是新内容，避免被缓存挡住。多数平台的抓取调整在 1 到 3 天内反映在日志里。

站点地图怎么保证有效

3 个检查点：条目数与实际可访问页面数差距不超过 20%；每条链接返回 200；更新时间字段写真实修改时间。用同一时间戳批量顶替所有条目的做法，会让平台判定地图不可信，抓取频次反而下降。

三、内容许可与训练用途的边界

这块最容易踩线，2 个概念要分开：允许页面被抓取展示，与允许内容用于模型训练，是两件事。robots.txt 里的许可字段、服务条款里的授权条款，各自管一段。

1. 只希望被检索展示、不希望被训练。在 robots.txt 里对训练类 UA 单独写限制，服务条款里写明保留权利。
2. 希望两者都允许。保持默认放行，不需要额外声明，页面结构与时效做好即可。
3. 部分目录放开、部分禁止。按目录写规则，把产品页放开、内部文档与后台目录挡住，别用 1 条通配规则。
4. 不确定该怎么选。先按放行做，服务条款里保留 1 句说明，后续调整有依据。

结构化数据标什么

3 类标注够用：组织信息标注主体全称、地址、联系方式；问答类标注把成对的问答写进脚本块；文章类标注标题、发布时间、作者。标注内容要与页面可见文字一致，页面没写的信息标在脚本里，属于不一致，会被忽略。

四、怎么核验：4 个动作

1. 核 robots.txt。浏览器直开，看是否有 Disallow: / 这类全站规则，逐段读 UA 名。
2. 核地图。抽 10 条链接点开，统计返回码；看更新时间字段是不是同 1 个值。
3. 核日志。服务器日志里按 UA 筛，看近 7 天各 AI 爬虫的请求次数与抓取页面类型，全零说明被挡。
4. 核标注。用浏览器的查看源码功能，搜结构化数据的脚本块，与页面文字对 1 遍。

五、怎么排优先级：3 条

1. 先修抓取许可。这一项不过，后面 5 类全白做，改 1 行文件的事，成本最低。
2. 其次修地图与时效。抓取频次上来后，平台靠地图发现新页，时效字段决定重抓节奏。
3. 结构化数据放第 3 位。它提高被正确解读的概率，作用在抓取之后，顺序颠倒会白等。

六、常见坑：5 条

1. 把 robots.txt 当纯技术文件不管。它既管展示也管训练授权，业务侧要参与确认。
2. 地图里塞进参数页与搜索结果页。这类页面内容重复，会稀释整站的抓取预算。
3. 结构化数据与页面文字不一致。标注的地址与页面写的地址不同，标注等于无效。
4. 只在 1 个平台提交。不同平台的抓取策略独立，提交入口也各自独立。
5. 改完不看日志。3 项技术改动是否生效，日志里有直接证据，1 周内核对 1 次能省掉反复猜测。

七、改完之后看 3 个指标

规则改完不等于生效。3 个指标在日志与页面里能直接读到，1 周内看 1 次就知道有没有起效。

抓取频次

按 UA 统计近 7 天的请求条数，与改动前 7 天对比。频次从零变成每天几十条，说明放行成功；仍是零，回到第 1 类规则复查，多数是还有 1 条全站限制没清掉。频次上来了但只抓首页，看第 2 类规则的地图是否把内页列全。

抓取页面类型

把被抓的 URL 按目录归类，看文章页、产品页、列表页各占多少。理想状态是文章页与产品页占 7 成以上。列表页与参数页占多数时，说明站内链接结构把爬虫引到了低价值页面，改导航与内链比继续写文章有用。

进入答案的页面

这一项要人工做：搜 20 个目标词，记下答案里引用的是哪几个页面。自家页面出现时，看被摘的是首段还是列表，据此调整写法。20 个词 1 小时能搜完，每月做 1 次，3 个月能看出趋势。3 个指标合起来，比单看流量数字准。

多站点的情况要额外看 1 件事：主站与子站各有自己的规则文件，子站目录被挡时主站放行也没用。做法是把 3 到 5 个子域的规则文件各打开 1 遍，确认没有互相矛盾的限制。多语言站点还要看语言版本标注是否完整，标注缺失时平台会当成 2 个不同内容处理，同 1 个页面被重复计算。

移动端与桌面端在规则上不分家，1 份文件全站生效。这点常被误解，有人以为移动端被挡不影响桌面端，实际两边同时生效。核验时用手机流量打开规则文件看 1 遍，与桌面看到的内容应当完全一致，不一致说明中间有缓存或 CDN 改写过，清 1 次缓存再对 1 遍，2 分钟能确认。清完仍然不一致的，检查 CDN 的回源规则，多数情况是回源指向了旧版本目录，改 1 次配置再刷新就正常。换主题、迁移目录之后这类问题出现得多，搬完当天对 1 遍最省事。

各平台对许可字段的解读与抓取策略在调整，UA 名单、许可字段名、提交入口位置这 3 项按平台当期公开文档核对，每季度复查 1 次。

本文信息核对时间：2026-11