让 AI 回答时引用自家页面,要按 4 步做:放开 AI 爬虫的抓取权限、把页面内容做成可抽取的结构、在页面上标注来源与更新时间、最后用日志和实测验证有没有被引。4 步里第 1 步不做,后面全白费,这是最常见的卡点。
下面按操作顺序写,每步给具体位置和判断标准,末尾附参数对照表、5 类报错与 3 个验证动作。全程在站点后台和服务器上完成,不用装第三方工具。
动手前先确认这 3 项,缺一项都会在中途停住。
第 3 项容易被随便填。把 2023 年的旧文改成 2026 年发布,短期看着新,被平台识别为时间造假后,整站的可信度都受影响。改内容就更新修改时间,别动发布时间。
日志这部分先说清在哪看。宝塔面板在「网站 - 日志」里,命令行是站点目录下的 access.log,按天切分。抓之前先确认日志有没有被清空,只留当天的日志看不出趋势,至少要留 7 天。
打开根目录的 robots.txt,先看有没有 Disallow: / 这条。有的话整站被拦,AI 爬虫进不来。放开时按 UA 分别写,别图省事全站放开。
写法是 1 个 User-agent 配 1 组 Allow。主流的 AI 爬虫 UA 有 5 个:GPTBot、ClaudeBot、Bytespider、Baiduspider、YisouSpider。逐个写 1 段,允许抓正文目录,禁止抓后台、搜索页、购物车这类无内容地址。
同时把 sitemap 的位置写进 robots.txt,1 行就够。这一行写对,爬虫进站后能直接拿到全部内容地址,比顺着链接爬快 3 到 5 天。
AI 摘要抓的多是能独立成立的短句,大段论述很少被整段取走。做法有 3 条:每节首句写完整结论、用 h2 与 h3 分层、每 300 字至少 1 个数字。
层级的作用是给摘要定边界。1 个 h2 下面挂 3 到 5 个 h3,每节 2 到 3 段,摘要系统按小节切块时不会把两个话题混在一起。全篇只有 h2、段落又超过 300 字,切出来的块常常前后不搭。
首句写结论这条最见效。把「我们先来看一下这个问题的背景」改成「办理时限是 15 个工作日,材料 3 份」,被摘走的概率明显上升。摘要系统优先取小节第一句和列表项。
表格与编号列表要让爬虫读得到。用 table 与 ol 标签写,1 张表别贴成图片。图片里的字,AI 读不到,抓过去等于空页。
页面上要有 3 类可见信息:发布方名称、发布与更新时间、引用出处。发布方写在页脚,时间写在正文首段下方,出处用链接列在文末。
结构化数据同时加 1 份。在页面头部加 1 段 JSON-LD,类型选 Article,填 headline、datePublished、dateModified、author 4 个字段。这段代码不显示在页面上,但爬虫读得到。
作者字段别写公司名。写具体的人名加职务,可信度高于机构名;没有真人署名时,写编辑部或内容组,别留空。
出处链接要指向能打开的原页。引政策就链到发布部门的原文页,引数据就链到统计口径页,别链到转载稿。链接 3 个月内失效的,宁可删掉出处,也别留 1 个 404。
提交有 2 个入口:搜索资源平台的手动提交,和 sitemap 的自动发现。手动提交每天有配额,用来推新发布的页面;sitemap 让爬虫自己来取,适合存量页面。
配额要省着用。1 天 100 条的额度,推新文用 20 到 30 条就够,剩下的留着改版后重推旧文。1 次推 200 条不会更快,反而容易被判为低质提交,第 2 天给的回执率明显下降。
验证看 3 处:日志里有没有对应 UA、页面关掉 JS 后能否读到正文、以及 AI 平台实测提问有没有带出处。3 处都过,才算接上。
第 2 处用浏览器自带的开发者工具就能测。按 F12 打开,切到网络面板,勾选停用缓存后刷新,看响应里有没有正文文字。只看到一堆脚本引用、正文靠后加载的,属于要改输出的页面。这一项每周抽 3 页测 1 次就够。
4 个字段填错会导致抓取失败或引用错版本,逐个对。
| 字段 | 填什么 | 常见错填 | 错填后果 |
|---|---|---|---|
| User-agent | 按爬虫名逐个写 | 写成 * 全放开 | 后台地址被抓,占抓取预算 |
| Sitemap | 根目录完整地址 | 写相对路径 | 爬虫读不到,等于没写 |
| canonical | 当前页唯一地址 | 全站指向首页 | 页面被判重复,不进索引 |
| dateModified | 真实修改时间 | 每次抓取都更新 | 时间不可信,权重下调 |
表里第 2 行最常错。写成 /sitemap.xml 这种相对路径,部分爬虫解析失败,日志里表现为「来过 1 次,之后 0 次」。改成 https 加域名的完整地址,第 2 天就能看到抓取。
第 3 行的坑更隐蔽。分页、带参数的筛选页都用同一个 canonical 指向首页,索引会把这一批页判成首页的副本,全批不收录。做法是列表页指自己、详情页指自己,只有真正重复的地址才归到 1 个主地址上。
第 4 行改起来最简单,改完别再动。把每次部署的时间写成 dateModified,等于告诉爬虫「这页天天在变」,时间一乱,内容的新鲜度权重就没了。改内容才更新,改样式不更新。
第 3 条我遇到过 1 次。1 个客户站的详情页用前端渲染,日志里 GPTBot 每天来 20 多次,抓到的正文只有 200 字。改成服务端输出后,同一批页面第 5 天开始被摘要引用,之前 3 个月零引用。
按天、按周、按月各 1 个,别天天盯。
第 2 条要固定问题。每次都问同 1 组 5 个问题,才能看出变化;换着问,结果不可比。我把 5 个问题的截图按月存 1 个文件夹,3 个月翻 1 次,哪几页稳、哪几页掉了,一眼能看出来。
实测时顺手记 3 项:回答里有没有出现域名、引的是哪 1 个地址、引用片段和原文差多少。第 3 项能看出摘要有没有断章取义,偏差大的页面要改首段表述,别让它把半句话当结论摘走。
各平台对 AI 爬虫的命名与抓取策略会调整,抓之前看 1 次对方公开的说明文档。本文信息核对时间:2026-11