主流 AI 平台都没有「提交引用来源」的后台入口,设置这件事只能从自己站上做,落点是 3 件:让 AI 爬虫进得来、让页面内容抽得出、让来源标得清。3 件都做了,被引用的概率才有基础;任何一件缺,前面做的等于白做。
第 1 项是服务器权限。要能改 robots.txt、能加 HTTP 头、能看访问日志,3 项里有 1 项没有,后面的排查就只能靠猜。第 2 项是站点地图。sitemap 要能正常返回 200,条目数与实际页面数对得上,差 20% 以上说明有页面没进图。
第 3 项是内容底稿。每个要被引用的页面,要有 1 段 100 到 150 字能独立成句的答案段,放在首屏。第 4 项是日志留存。AI 爬虫的 UA 要靠日志认,日志只留 3 天的话,一周后再查就查不到证据了。
打开站点根目录的 robots.txt,确认没有整段 Disallow。常见的错误写法是把 `/` 全禁了只放行百度,AI 爬虫进来看到 Disallow 就会退出。要放行的 UA 至少 4 个:GPTBot、ClaudeBot、PerplexityBot、Bytespider,各自单独写 1 组 User-agent 与 Allow。
写完之后用浏览器直接访问 域名/robots.txt,看返回的是不是纯文本。返回 404 或跳到首页,说明规则文件没生效,AI 爬虫读到的是空规则。这一步 5 分钟能查完,却是最常见的问题来源。
在每个内容页的 head 里加 1 段 JSON-LD,类型用 Article 或 FAQPage。必填 3 个字段:headline、datePublished、author。作者要写具体的人或机构名,写「管理员」等于没写。有问答结构的页面用 FAQPage,问句与答句一一对应,答句控制在 80 字以内。
标完用搜索引擎的结构化测试工具跑 1 遍,能读到 3 个字段就算过。读不到多数是 JSON 里有中文引号,或者 script 标签被编辑器转义成了文本。这两处占我遇到的失败案例 8 成以上。
AI 平台摘内容时优先取首段与带序号的段落。首段写成「结论 + 2 个限定条件」,不要写成背景铺垫。1 个可操作的检验方法:把首段单独复制出来发给同事看,对方不用上下文就能明白在说什么,这段就合格。
正文里再加 2 到 3 处编号清单,每条 20 到 40 字,每条开头带 1 个具体名词。清单是被抽成答案的主要载体,纯叙述段落被抽中的概率低一半。表格也有用,但要保证表头是文字而不是图片。
在站点根目录放 1 个纯文本文件,命名 llms.txt,内容是站点简介加 20 到 50 条核心页面链接,每条后面跟 1 句 30 字以内的说明。格式用 Markdown 列表,不要用 HTML。这个文件目前没有强制标准,但已有平台会主动读。
文件体积控制在 50KB 以内,链接指向能被公开访问的页面。指向需要登录的页面等于无效,爬虫拿到 302 就放弃了。更新频率跟着内容走,每月改 1 次比一次性写完不管更管用。
把 sitemap 地址提交到搜索引擎资源平台,同时在 robots.txt 里写 1 行 Sitemap。提交后 24 小时内看抓取统计,AI 爬虫的抓取量会体现在 UA 维度上。7 天内 1 次都没抓到,先回第 1 步查 robots,再查服务器有没有对境外 IP 做限流。
站点地图本身有 3 个要求:单文件不超过 50000 条、体积不超过 50MB、编码用 UTF-8。超过这个量要拆成多个文件并写索引页。条目多了以后按板块拆分更实用,1 个栏目 1 个图,抓取异常时能定位到具体栏目,不用整站重排。
页面里出现数据、法规、标准时,写明出处与年份,格式统一成「机构名 + 文件名 + 年份」。带出处的段落被引用的概率更高,因为平台需要可追溯的来源。出处写「有关资料」这类模糊表述,等于没写,抽取时会被跳过。
1 个页面里出处控制在 3 到 8 处,太少显得没有依据,太多会影响可读性。外部链接用 rel 属性标明是否跟随,指向权威机构的页面可以正常跟随,指向商业页面的加 nofollow,避免被判成软文。
| 位置 | 填什么 | 常见错填 |
|---|---|---|
| robots.txt 的 User-agent | 按 UA 全名逐个写 | 写 ai 或 bot 这类通配词 |
| JSON-LD 的 author | 具体人名或机构全称 | 写「管理员」「小编」 |
| JSON-LD 的 datePublished | ISO 格式 2026-11-18 | 写「2026年11月18日」 |
| llms.txt 的链接 | 公开可访问的绝对地址 | 写相对路径或内网地址 |
| sitemap 的 lastmod | 页面实际修改时间 | 每次生成都写当前时间 |
表里第 5 行是最容易被忽略的一处。用程序生成 sitemap 时把 lastmod 写成 time(),等于告诉爬虫全站每天都是新的,前 2 周可能抓得勤,第 3 周开始整站降频。改成读文件修改时间,抓取节奏会稳定很多。
现象一,日志里没有 AI 爬虫。先查 robots 是否放行,再查 CDN 有没有拦境外 UA,最后看服务器防火墙有没有对特定网段限速。现象二,只抓首页不抓内页。看首页到内页的链接是不是 JavaScript 渲染出来的,纯 JS 链接多数爬虫不跟。
3 个动作。动作一,在 AI 平台问 3 个与你页面标题一致的问题,看回答里有没有出现你的域名或站名。动作二,看服务器日志里 AI 爬虫的抓取频次,从 0 到每周 20 次以上说明链路通了。动作三,搜自己的品牌名加关键词,看摘要里有没有引用你的原句。
验证要按周做,不要按天。抓取到引用之间有间隔,2 到 6 周都见过。同 1 个问题连问 3 天都没引用,就该改首段与清单结构,而不是继续加页面。改完再等 2 周看结果,这个节奏我试了 4 轮,每轮差异都能看出来。
验证时还要区分 2 种情况:引用了域名,与引用了整段原文。前者说明页面被收录,后者说明内容被抽中,后者的价值高。看到整段原文被引用,把那段结构记下来,照着扩写到同栏目的 5 到 10 个页面,复制成功率比重新设计高。
坑一,以为交了 sitemap 就会被引用。提交只解决「知道有这些页面」,引用还看内容能不能被抽成答案。坑二,只做首页优化。AI 平台引用内页的比例比首页高,1 个站被引用的 10 条里常有 7 条是内页。
坑三,正文里堆关键词。堆到每段都有,抽取时会判定为低质,反而降低引用概率。坑四,把内容做成图片。图片里的文字抽不出来,等于没写。坑五,robots 里放行后又加了 noindex,两个设置打架,最终按更严的那个执行。
坑六,改了页面不改 URL。同一篇内容换地址,旧地址 404,之前积累的引用会失效。改地址时做 301 跳转,保留 6 个月以上。这条踩过的人不多,但影响比前 5 条都大,1 次错误能把半年积累清零。
还有 1 个容易漏的位置是分页。内容超过 3 页的,给每页加 rel=next 与 rel=prev 标记,爬虫才能把 3 页拼成 1 篇。只抓第 1 页时,摘要只覆盖开头 800 字,后面的数据进不了引用。
本文信息核对时间:2026-11