让 AI 回答里挂上自家来源,要做 4 件事:robots.txt 放行 AI 爬虫、把答案写在正文首段、加结构化数据、保持 sitemap 与 lastmod 准确。4 件做完,7 到 14 天能在服务器日志里看到对应 UA 的抓取记录。缺任何 1 件,被抓到也可能不被引用。
这 4 项决定你能改到哪一步。缺权限就先找技术要,别在能改的范围内绕,绕出来的方案通常留不住。
| 项目 | 怎么确认 | 缺了会怎样 |
|---|---|---|
| robots.txt 可改 | 访问域名后加 /robots.txt,看是否返回 200 | 爬虫被拦,后面全白做 |
| 页面 head 可改 | 模板里能否插入自定义标签 | 加不了结构化数据 |
| sitemap 正常 | 提交入口能读到条目数与更新时间 | 新页面进不了抓取队列 |
| 日志可查 | 能否按天取访问日志 | 无法验证是否被抓 |
日志这一项最容易被忽略。没有日志就只能靠猜,猜错了会反复改页面,改到第 3 版仍不知道问题在哪。日志能拿到 UA 和状态码,1 次筛选就能看清哪个爬虫来过、抓了哪几页。
不少站点的 robots 是从模板批量生成的,改了会被下次生成覆盖。改之前先找出生成逻辑,把规则写进模板,否则 1 周后自动回滚。我遇到过一家客户,改完第 3 天 robots 又变回拦截状态,查了半天才发现是构建脚本每晚重写。
AI 抽取答案时优先取首段和表格。铺垫型的开头「随着行业不断发展」这类句子对抽取没有价值,被跳过后整段作废。把结论放前面,同一页被引用的概率明显变高。
问句小标题的作用是匹配搜索语句。用户问「社保怎么查交了几年」,页面小标题写成「怎么查缴费年限」,语义对得上,抽取时更容易命中。小标题数量控制在每页 3 到 6 个,太多会分散主题。
JSON-LD 写成纯文本会失效。常见错误是编辑器把引号转成了中文引号,或者把整段包进了注释。检查方法很简单:看源码里能不能搜到 application/ld+json,再把这个块单独粘进测试工具,能解析出字段就算过。
lastmod 造假是常见错误。所有条目都写成同一天,爬虫会降低对这个字段的信任,后面真更新也不再优先抓。改动哪页就写哪页的时间,这个习惯比任何提交技巧都管用。
| 字段 | 填什么 | 常见错填 |
|---|---|---|
| datePublished | 首次发布年月日,带时区 | 填当前时间,每次发布都变 |
| dateModified | 实际改稿时间 | 与 datePublished 完全相同 |
| author | 真实作者或组织名 | 留空或写「管理员」 |
| mainEntity | FAQ 类的问答对,3 组以上 | 只写 1 组,抽取价值低 |
作者这一项影响判断。写「管理员」的页面在来源筛选里权重偏低,写真实姓名或机构名更容易被当成可引用来源。个人号做内容就把名字写上去,机构站写公司全称,两者都行。
FAQ 类的问答对要写足 3 组以上。只写 1 组,抽取工具会把它当成普通段落,标记的价值就没了。每组问句按用户的原话来写,别改写成书面语,改完匹配不上搜索语句,加了也用不上。
第 5 条要连状态码一起看。日志里出现 403 说明爬虫来了但被挡,出现 200 才是正常抓取。只看有没有访问、不看返回码,会把拦截当成抓取成功,后面等 1 个月也等不到引用。
第 4 条要耐心。抓取到引用之间隔 7 到 21 天,中间还会经过评估环节。我自己站的记录是抓取后第 9 天首次出现在回答里,同一批另一页等了 24 天。这段时间别反复改页面,改来改去会让评估重新开始。
改完先别等外部反馈,站内先过 3 遍。这 3 遍能在 20 分钟内做完,挡住 8 成的低级错误。
第 1 遍看源码。页面里搜 ld+json,确认这段在 head 内、引号是半角、没有被注释包住。第 2 遍看首段。把第 1 段单独复制到记事本,能不能不解释就看懂结论,看不懂就是铺垫太多。
第 3 遍看日志。按天取访问日志,筛目标页的路径,看返回码是 200 还是 403。这一步要连 UA 一起看,AI 爬虫和普通浏览器混在 1 个文件里,只按路径筛容易看错。
3 遍都过之后,再考虑内容层面的改动。结构没通之前改正文,等于在漏水的桶里加水。我见过一家站反复改首段措辞,改了 6 版,最后发现 robots 里有一条 Disallow 把目录整段挡住了,前面 6 版全废。
坑一:以为放行 UA 就会被引用。放行只是入场券,内容能不能被抽成答案看首段和结构。
坑二:全站加同一段结构化数据。类型要和内容对,教程页用 HowTo,问答页用 FAQPage,套错了等于没加。
坑三:页面堆关键词。密度超过 5% 读起来别扭,抽取时反而被跳过,自然写清就行。
坑四:只做首页。AI 抽取的多是具体问题页,栏目页和首页被引用的比例低,把力气放在长尾页。
坑五:改完不留记录。哪天改的、改了哪几页写进 1 张表,出问题时才知道从哪天开始查。
坑六:把文章搬到 1 个页面里堆长。1 页讲 1 个问题,被引用的概率比 1 页讲 10 个问题高,主题散了抽取时挑不出重点。
本文信息核对时间:2026-11