AI 收录规则分 6 类,写在 3 个位置:站点根目录的 2 个文件、页面 head 里的标签、HTTP 响应头。6 类里 3 类管「能不能抓」,3 类管「抓了怎么用」,管错位置等于没写。
这篇按位置拆,每条给「写在哪、管什么、怎么验」。规则本身不复杂,麻烦在 6 条互相覆盖,1 条写错会把其余 5 条的效果抵消掉。
6 类规则散在 3 个地方,按位置找比按名字搜快。
第 3 组最容易被忽略。它不出现在 HTML 里,用浏览器「查看源代码」看不到,只在抓包或命令行请求时露出来。
| 规则 | 写在哪 | 管什么 | 写错的后果 |
|---|---|---|---|
| robots.txt | 域名根目录 | 哪些路径与 UA 不许抓 | 写错 1 行,全站不进索引 |
| meta robots | 页面 head | 单页是否允许收录 | 整站模板带上 noindex,全站掉出 |
| X-Robots-Tag | HTTP 响应头 | 批量控制,含非 HTML 文件 | 测试环境头带到生产,页面全被挡 |
| sitemap.xml | 域名根目录 | 告知有新页面与更新时间 | 里面全写当天时间,信任度掉 |
| canonical | 页面 head | 多网址指向 1 个主版本 | 指错页,权重分散 |
| llms.txt | 域名根目录 | 给 AI 读的内容说明 | 缺了不影响抓取,只影响引用偏好 |
第 6 行是 2024 年之后出现的新格式,用 Markdown 写,列出站点的主要栏目与简介。它不是强制标准,写与不写都能被抓,作用在于给 AI 系统 1 份「先读这里」的索引。
同一份文件里可以按 UA 分段。允许全部抓取的写法是「User-agent: *」加 2 行 Disallow 空值;只挡某个路径的,写「Disallow: /admin/」。想对特定 AI 爬虫单独放开,加 1 段写它的 UA 名。
要注意的地方在通配符。`Disallow: /*?*` 这类写法会把所有带参数的 URL 挡掉,栏目分页、搜索结果页一起被挡,访问量大的站点 1 天能少抓几千页。
常用 3 个值:index 表示允许收录,noindex 表示不许,noindex,follow 表示不收录但可以顺着链接往下走。第 3 个值在栏目页、标签页上最合适,页本身没价值,链接有价值。
模板层面的坑在这里。整站模板抄了 1 份带 noindex 的 head,上线后所有页面都不收录,改回来要等 3 到 7 天重新抓。上线前抽 3 个页面看源码,1 分钟的事。
写在响应头,格式是「X-Robots-Tag: noindex」。它的长处是能管 PDF、图片这类没法写 meta 的文件。短处是看不到,改完容易忘,测试环境的头跟着配置一起上生产,全站被挡 1 周的情况出现过。
sitemap 里只放要收录的页面,lastmod 写真实修改时间;canonical 每条指向 1 个主版本,别链成环;llms.txt 用 Markdown 列栏目,20 行以内。3 条都属于「辅助」层,不写也能抓,写了能少走弯路。
4 个动作,命令行 3 条命令能查完。
第 2 条我给客户做审计时固定做。3 个页面各请求 1 次,耗时 10 秒,能挡掉最常见的一类事故:测试环境的禁止收录头被带到正式站。
不是每个站都要写 6 条。按 3 种情况取。
第 2 条的收益在收录质量。1 个电商站有 3000 个筛选组合,不加规范链接,索引里会塞进大量近似页面,真正想推的 200 个商品页反而排不上。
系统读不到样式与脚本,判断不了页面结构。表现是收录了但快照错乱。样式目录要放开,别图省流量。
2 个指令互相矛盾,系统会选择忽略其中 1 个。表现是收录状态反复变。1 个页面只留 1 个主指令。
把 5 万个页面全塞进去,包括后台、搜索结果页,系统按比例抽检,抽到的低质页会拉低整份文件的可信度。只放要收录的。
每次抓取都看到「今天更新」,系统会判定时间不可信,之后不再参考这个字段。写真实的最后修改时间。
主版本页被删了,规范链接还指着它,页面等于没有归属。改版时把规范链接一起过 1 遍。
测试环境与生产环境的配置差 1 行,效果完全不同。验证要在生产域名上做,3 个页面各 1 次。
改完不等于立刻生效,中间隔着抓取与重评 2 步。
第 4 行最磨人。被 noindex 挡过 1 个月的页面,放开后先回到索引,权重恢复要更久。2026 年 2 月我处理过 1 个案例,全站被挡 20 天,放开后第 9 天开始有展现,第 45 天才回到之前的量级。
上线前按 8 条过 1 遍,2 个人 10 分钟能核完。
第 7 条固定做。3 个页面选首页、1 个栏目页、1 个详情页,覆盖模板的 3 种形态,1 个模板出错能当场发现。
站点分中英文或分子域名时,规则要分开写。
第 1 条最容易漏。中文站写了 robots,英文站位于 en 子域名,等于没有规则,该挡的后台路径全开放。检查办法是逐个域名打开 robots.txt,看返回码与内容。
子域名多到 5 个以上时,把 5 份文件的差异列成 1 张表,每次改完对 1 遍。改 1 份忘 4 份,是这类站最常见的状态。
把内容发在公众号、知乎这类平台,站点层面的 6 条规则都碰不到。能做的是 3 件事:账号设置里允许搜索收录、正文避免纯图片、标题写清主题。这 3 件之外,平台怎么收录由平台定,改不了。
自建站与平台号各 1 套做法,别用平台的规则去猜站点的行为。
6 条规则写完,存 1 份改动记录:改了什么、什么时候改的、谁改的。3 个月后出问题,翻记录能少走 5 轮排查。规则是死文件,记录才是活的。本文信息核对时间:2026-11