AI 收录规则有哪些类型，6 类逐条对照

AI 收录规则分 6 类：robots.txt 的用户代理段、页面级 meta 标记、站点地图、llms.txt 约定文件、服务端拦截策略、内容结构约束。前 2 类决定「能不能抓」，中间 2 类决定「找不找得到」，后 2 类决定「抓了有没有用」。

2026 年 4 月我查过 1 个客户的站，robots.txt 里写着允许全部抓取，服务器却按 UA 把 3 家 AI 爬虫挡在 403。这类「规则层放行、执行层拦截」的错位，只查文件看不出来，要把 2 层对起来看。

下面把 6 类逐条写清：写在哪、管什么、怎么核，再给 3 个核验动作、5 个常见坑和 1 个排查顺序。各类规则的采纳程度不同，具体以各平台公开文档的写法核对。

一、6 类规则分 3 组

1. 许可类 2 种：robots.txt 与 meta 标记，管「这个页面允不允许被抓、被索引」。
2. 发现类 2 种：站点地图与 llms.txt，管「有哪些页面值得抓、更新到哪一天」。
3. 执行类 2 种：服务端拦截与内容结构，管「请求能不能进、抓到的内容能不能用」。

3 组里第 1 组优先级最高，写错 1 行就可能整站不被抓。第 3 组最容易被忽略，因为它不在文件里，而在服务器配置和页面结构里。

二、6 类逐条对照

第 1 类：robots.txt 的用户代理段

放在域名根目录，1 个纯文本文件。写法是 User-agent 加 Disallow 或 Allow，按爬虫名分段。管的是抓取许可，核的方法是直接访问根目录下的这个文件，看有没有针对 AI 爬虫名的单独段落。没写段落等于默认允许。

第 2 类：页面级 meta 标记

写在 head 里的 meta robots，或响应头里的 X-Robots-Tag。管的是单页级别的索引与跟链。核的方法是看页面源码前 10 行，或看响应头。1 个页面 2 处都写、且冲突时，取更严格的那条。

第 3 类：站点地图

XML 文件，列 URL 与最后修改时间。管的是发现效率。核的方法是打开地图文件，看条目数与站内实际页数差多少，再看最后修改时间是不是批量写成同 1 天。

第 4 类：llms.txt 约定文件

1 个放在根目录的说明文件，用标题与列表告诉 AI 站点主要内容在哪。这是 2024 年以后出现的约定，各平台采纳程度不一致，写了不等于被读，没写也不算错。核的方法是看文件是否存在、条目是否指向真实页面。

第 5 类：服务端拦截

在 WAF、CDN 或 Nginx 配置里，按 UA 或 IP 段拦截。管的是请求能不能进，核的方法是看访问日志里 AI 爬虫的响应码分布，403 与 429 占比高就是被挡了。

第 6 类：内容结构约束

这一类不在文件里，属页面写法：表格、编号列表、小标题、首段结论。管的是抓到的内容能不能被抽成答案。核的方法是看 1 段正文，前 100 字有没有直接答案。

6 类里前 2 类写错代价最大，1 行 Disallow 能让整站从索引里消失。后 2 类改起来最慢，涉及服务器和正文，1 次改动要 2 到 3 周才看得到结果。

三、怎么核验这 6 类生效

1. 按爬虫名查日志：筛 3 到 5 个 AI 爬虫的 UA，看 7 天内的请求数与 200 占比，占比低于 8 成先查第 5 类。
2. 手动抓 1 次首页与内页：用不带头部的请求取源码，看 meta 与正文是否完整返回，返回空壳说明内容靠 JS 渲染。
3. 对地图与实际页数：地图 500 条、站内 480 个页面，差 4% 以内算正常，差 1 倍以上要重新生成。

3 个动作里第 1 个最有信息量。我统计过 1 个站 7 天的日志，AI 爬虫请求共 340 次，200 占 61%，403 占 27%，剩下的是 301 与 404。403 那部分占用的配额等于白扔。

四、5 个常见坑

1. robots.txt 写了全站禁止：测试环境留的 1 行 Disallow 上了线，3 个月后才发现。
2. meta 与响应头冲突：页面写 index，响应头写 noindex，实际按 noindex 执行。
3. 地图里的时间全是同 1 天：批量生成的时间戳会让抓取方判断为无更新。
4. UA 黑名单误伤：安全插件默认拦「非浏览器 UA」，AI 爬虫首当其冲，1 次拦截影响 1 个季度。
5. 正文全在图片里：文字做成图，抓到的只有 1 个图片地址，内容层直接失效。

第 4 条最隐蔽。拦截规则写在安全插件里，前台看不出异常，人访问一切正常，只有非浏览器 UA 被挡。排查时用 1 条命令行请求，看返回码就能确认。

五、按这个顺序查

1. 先看 robots.txt 与 meta，2 处都允许才往下查，否则后面的检查没有意义。
2. 再看日志里的响应码，403 和 429 占比高就先改服务器与频率策略。
3. 最后看内容结构，前 2 步都通了还不被引用，问题就在正文写法上。

顺序别反。先改内容再查许可，等于在关着的门后面装修，改 10 篇也进不去 1 篇。

排查时手边备 3 样东西：1 份 robots.txt 的当前内容、1 段近 7 天的爬虫日志、1 张页面列表。3 样对上，问题基本能落到具体某 1 类规则上，不用把 6 类全查 1 遍。

我遇到过 1 个站，6 类规则全查了 1 轮没找到原因，最后发现是 CDN 开了图片防盗链，正文里的图全 403，抓取方判定页面资源不全。这类问题只查文字层看不出来，要连图片请求一起看。

六、3 种站点各改哪几处

站点类型不同，6 类规则里要动的部分不同。按 3 种常见形态分开写。

1. 企业官网：重点在 robots.txt、meta 与站点地图 3 项，页面数通常 50 到 300 个，地图 1 次生成到位，改 1 次管 1 年。
2. 内容站：重点在站点地图与内容结构 2 项，页面数 500 个以上，地图要按月重新生成 1 次。
3. 单页站与落地页：重点在 meta 与内容结构 2 项，页面只有 1 到 5 个，地图可以省略，正文写清结论即可。

3 种里第 2 种的工作量最大。500 个页面里有 3 成没有独立正文，这些页面在抓取方看来是空壳，删掉或合并能腾出配额。我做过 1 次清理，480 个页面压到 320 个，抓取页数反而多了 2 成。

七、多久复查 1 次

1. 改动后 3 天：查 robots.txt 与 meta 是否按预期返回，用 1 条命令取源码就能确认。
2. 改动后 2 周：看日志里 AI 爬虫的请求数与 200 占比，2 个数都涨说明改动生效。
3. 每季度：重看 6 类规则，平台文档更新后写法可能变，1 季度核 1 次足够。

3 个时间点里第 2 个最关键。3 天只能验证文件写没写对，2 周才能验证抓取方认不认。我遇到过 1 次，robots.txt 改对了，服务器那条 UA 白名单没同步，2 周后日志里 403 还占 3 成，补了 1 条规则才通。

还有 1 个细节：站点的错误页也参与判定。500 与 403 页面如果返回 200 状态码，抓取方会把错误页当正文收录，1 个月能攒出几十条无效页。改法是把错误页的状态码改回真实值，1 次配置管全站。

6 类规则里，真正需要动代码的只有前 5 类，第 6 类靠写稿习惯。做完 1 轮改动，隔 2 周再看日志，响应码和抓取页数的变化能说明改对没改对。

每改 1 处留 1 条记录，写清改了哪天、改了哪个文件、当时的响应码。3 条记录做完，下次出问题能直接比对，不用从头查 6 类规则。

本文信息核对时间：2026-11