ai引用来源怎么设置?从抓取权限到页面标注4步

17分钟前发布

让 AI 回答时引用自家页面,要按 4 步做:放开 AI 爬虫的抓取权限、把页面内容做成可抽取的结构、在页面上标注来源与更新时间、最后用日志和实测验证有没有被引。4 步里第 1 步不做,后面全白费,这是最常见的卡点。

下面按操作顺序写,每步给具体位置和判断标准,末尾附参数对照表、5 类报错与 3 个验证动作。全程在站点后台和服务器上完成,不用装第三方工具。

先准备 3 样

动手前先确认这 3 项,缺一项都会在中途停住。

  1. 站点根目录的写权限。robots.txt 和 sitemap 都要放在根目录,二级目录下的文件 AI 爬虫读不到。
  2. 服务器日志的读取权限。验证阶段全靠日志里的 UA 判断有没有来抓。
  3. 页面的发布时间与更新时间的真实值。这两个字段写错,引用时会带错日期。

第 3 项容易被随便填。把 2023 年的旧文改成 2026 年发布,短期看着新,被平台识别为时间造假后,整站的可信度都受影响。改内容就更新修改时间,别动发布时间。

日志这部分先说清在哪看。宝塔面板在「网站 - 日志」里,命令行是站点目录下的 access.log,按天切分。抓之前先确认日志有没有被清空,只留当天的日志看不出趋势,至少要留 7 天。

4 步操作

第 1 步 放开抓取权限

打开根目录的 robots.txt,先看有没有 Disallow: / 这条。有的话整站被拦,AI 爬虫进不来。放开时按 UA 分别写,别图省事全站放开。

写法是 1 个 User-agent 配 1 组 Allow。主流的 AI 爬虫 UA 有 5 个:GPTBot、ClaudeBot、Bytespider、Baiduspider、YisouSpider。逐个写 1 段,允许抓正文目录,禁止抓后台、搜索页、购物车这类无内容地址。

同时把 sitemap 的位置写进 robots.txt,1 行就够。这一行写对,爬虫进站后能直接拿到全部内容地址,比顺着链接爬快 3 到 5 天。

第 2 步 把页面做成可抽取的结构

AI 摘要抓的多是能独立成立的短句,大段论述很少被整段取走。做法有 3 条:每节首句写完整结论、用 h2 与 h3 分层、每 300 字至少 1 个数字。

层级的作用是给摘要定边界。1 个 h2 下面挂 3 到 5 个 h3,每节 2 到 3 段,摘要系统按小节切块时不会把两个话题混在一起。全篇只有 h2、段落又超过 300 字,切出来的块常常前后不搭。

首句写结论这条最见效。把「我们先来看一下这个问题的背景」改成「办理时限是 15 个工作日,材料 3 份」,被摘走的概率明显上升。摘要系统优先取小节第一句和列表项。

表格与编号列表要让爬虫读得到。用 table 与 ol 标签写,1 张表别贴成图片。图片里的字,AI 读不到,抓过去等于空页。

显示器上的配置文件界面

第 3 步 标注来源与更新时间

页面上要有 3 类可见信息:发布方名称、发布与更新时间、引用出处。发布方写在页脚,时间写在正文首段下方,出处用链接列在文末。

结构化数据同时加 1 份。在页面头部加 1 段 JSON-LD,类型选 Article,填 headline、datePublished、dateModified、author 4 个字段。这段代码不显示在页面上,但爬虫读得到。

作者字段别写公司名。写具体的人名加职务,可信度高于机构名;没有真人署名时,写编辑部或内容组,别留空。

出处链接要指向能打开的原页。引政策就链到发布部门的原文页,引数据就链到统计口径页,别链到转载稿。链接 3 个月内失效的,宁可删掉出处,也别留 1 个 404。

桌前摊开的笔记与钢笔

第 4 步 提交并验证

提交有 2 个入口:搜索资源平台的手动提交,和 sitemap 的自动发现。手动提交每天有配额,用来推新发布的页面;sitemap 让爬虫自己来取,适合存量页面。

配额要省着用。1 天 100 条的额度,推新文用 20 到 30 条就够,剩下的留着改版后重推旧文。1 次推 200 条不会更快,反而容易被判为低质提交,第 2 天给的回执率明显下降。

验证看 3 处:日志里有没有对应 UA、页面关掉 JS 后能否读到正文、以及 AI 平台实测提问有没有带出处。3 处都过,才算接上。

第 2 处用浏览器自带的开发者工具就能测。按 F12 打开,切到网络面板,勾选停用缓存后刷新,看响应里有没有正文文字。只看到一堆脚本引用、正文靠后加载的,属于要改输出的页面。这一项每周抽 3 页测 1 次就够。

关键参数怎么填

4 个字段填错会导致抓取失败或引用错版本,逐个对。

字段填什么常见错填错填后果
User-agent按爬虫名逐个写写成 * 全放开后台地址被抓,占抓取预算
Sitemap根目录完整地址写相对路径爬虫读不到,等于没写
canonical当前页唯一地址全站指向首页页面被判重复,不进索引
dateModified真实修改时间每次抓取都更新时间不可信,权重下调

表里第 2 行最常错。写成 /sitemap.xml 这种相对路径,部分爬虫解析失败,日志里表现为「来过 1 次,之后 0 次」。改成 https 加域名的完整地址,第 2 天就能看到抓取。

第 3 行的坑更隐蔽。分页、带参数的筛选页都用同一个 canonical 指向首页,索引会把这一批页判成首页的副本,全批不收录。做法是列表页指自己、详情页指自己,只有真正重复的地址才归到 1 个主地址上。

第 4 行改起来最简单,改完别再动。把每次部署的时间写成 dateModified,等于告诉爬虫「这页天天在变」,时间一乱,内容的新鲜度权重就没了。改内容才更新,改样式不更新。

5 类报错怎么排

  1. 日志里 0 次访问。robots 拦了,或 sitemap 没提交。先抓 1 次 robots.txt 看返回 200 还是 403。
  2. 来了但只抓首页。内链断了,列表页输出空。查栏目页的模板有没有报错。
  3. 抓了正文为空。内容靠 JS 渲染,爬虫拿到空壳。把关键内容改成服务端输出。
  4. 引用的是旧版本。canonical 或缓存没更新,改完提交 1 次并等 72 小时。
  5. 引用的是别家页面。同题内容里你的页面结构最弱,先补首段结论与表格。

第 3 条我遇到过 1 次。1 个客户站的详情页用前端渲染,日志里 GPTBot 每天来 20 多次,抓到的正文只有 200 字。改成服务端输出后,同一批页面第 5 天开始被摘要引用,之前 3 个月零引用。

服务器机房内的走线与指示灯

3 个验证动作

按天、按周、按月各 1 个,别天天盯。

  1. 按天看日志。筛 5 个 AI 爬虫 UA 的访问次数,连续 3 天为 0 就回查第 1 步。
  2. 按周实测。在 AI 平台问 5 个目标问题,看回答里有没有你的链接,记录引用的是哪 1 页。
  3. 按月看索引。索引量涨、引用不涨,说明内容可抽取性还不够,改首段与列表。

第 2 条要固定问题。每次都问同 1 组 5 个问题,才能看出变化;换着问,结果不可比。我把 5 个问题的截图按月存 1 个文件夹,3 个月翻 1 次,哪几页稳、哪几页掉了,一眼能看出来。

实测时顺手记 3 项:回答里有没有出现域名、引的是哪 1 个地址、引用片段和原文差多少。第 3 项能看出摘要有没有断章取义,偏差大的页面要改首段表述,别让它把半句话当结论摘走。

各平台对 AI 爬虫的命名与抓取策略会调整,抓之前看 1 次对方公开的说明文档。本文信息核对时间:2026-11