AI收录规则有哪些类型?4类对应4种改法

4小时前发布

结论先说:AI 搜索的收录规则可以按"谁定的"分成 4 类——抓取许可、索引建库、语料与快照、答案引用。4 类分别对应 4 种改法,改之前先确认卡在哪一类,比一次全改省时间。

我 3 个月前接手 1 个制造业站,抓取日志里每天有 300 多次请求,索引量却停在 120 页不动。查 2 天后才明白:抓取许可没问题,卡在第 2 类,页面之间的正文重复度太高,进不了库。

下面 4 类逐条写:规则是谁定的、在哪能看到、改法是什么。每条都给可核对的位置,不写推测。

1 抓取许可

这一类由站点自己定。robots.txt 里写允许与禁止,UA 名单里写放行哪些爬虫。改法只有 1 个方向:把要收录的目录放出来,把后台、搜索页、参数页关掉。

核对位置在站点的 robots.txt,浏览器地址栏域名后面加 /robots.txt 就能打开。看 2 处:Disallow 后面有没有带自己的内容目录,Crawl-delay 会不会把频率压到 1 天几次。2 处任 1 处出问题,抓取量都会掉。

改的时候注意 3 个目录

分类页、详情页、标签页。3 个目录都要能被抓,标签页尤其容易漏,多数模板默认屏蔽。屏蔽后标签页上的聚合内容永远进不了索引,那批长尾词就没有入口。

我改过 1 个站的标签页设置,放开 260 个标签页,2 周后索引量从 120 页到 340 页。改动量是 1 行配置,代价是抓取预算被摊薄,正文页的抓取频次下降了 15%,需要用站点地图把重点页往前排。

书桌上摊开的工程图纸与丁字尺

2 索引建库

这一类由搜索引擎定,写不进配置文件。规则看 3 项:内容是否重复、页面是否有独立价值、更新是否规律。3 项里任何 1 项弱,页面会被抓但只进库 1 部分。

表现是抓取量正常、索引量不涨。判断办法:拿 10 个新页面的 URL 去搜 1 遍,看有没有以自己域名出现在结果里,出现几个算几个。10 个里进 3 个以下,问题在这一类。

改法:把重复段落拆掉

模板生成的段落最容易重复。产品页的"关于我们""服务流程"整段照搬,20 个页面就有 20 段一样的话。改法是把这类段落压到 1 段短介绍,每页补 1 段只有这页才有的内容,比如具体规格、适用场景、交付周期。

我按这个办法改过 40 个产品页,每页补 200 到 300 字独有内容,3 周后进库比例从 30% 到 65%。数字不夸张,但方向稳定,第 2 个月还在往上走。

3 语料与快照

这一类管的是"内容被存成什么样"。快照是搜索方存的副本,语料是 AI 搜索取用时读的那份。2 者都会受页面结构影响:正文混在脚本里、关键信息放在图片上、表格用图片切图,存下来的副本就是残缺的。

核对办法:用纯文本方式打开页面,看正文能不能完整读出来。图片上的文字、canvas 渲染的表格、需要点击才展开的内容,在纯文本里全是空白。这类页面被抓 100 次,语料里也只有 100 份空白。

改法:正文写成可读文本

4 个动作:正文用段落标签写、表格用表格标签写、图片配 1 句说明文字、展开内容默认显示。4 个动作里第 2 个最常被忽略,很多站的价格表、参数表是图片,纯文本里只剩 1 个文件名。

改完用 1 个土办法验:把页面内容全选复制到记事本,看表格数字还在不在。还在,说明结构对;只剩图,说明还没改到。

桌面上的文件夹与几支彩色标记笔

4 答案引用

这一类决定内容能不能进 AI 的答案。规则偏向可抽取的段落:1 段 1 个结论、带具体数字、带条件限定、有小标题分隔。整段 800 字不分层的内容,被整段摘走的概率低。

核对办法:拿自己的页面与 AI 已引用的页面比段落长度。被引用的页面,段落多在 80 到 200 字,每段开头 1 句是结论。自己的页面段落 400 字以上,先拆段再说。

改法:每段第 1 句写结论

把结论提到段首,后面跟 2 到 3 句支撑。改 1 个 2000 字的页面,拆成 12 段,每段首句独立成句,AI 取用时能整段拿走。这层改动不动内容,只调顺序,1 个页面 20 分钟能改完。

4 类对照

类型谁定的在哪看改法
抓取许可站点自己robots.txt放开内容目录,关掉参数页
索引建库搜索引擎索引量与抓取量曲线拆重复段落,补独有内容
语料与快照搜索与 AI 搜索纯文本视图正文、表格写成结构化文本
答案引用AI 搜索产品答案里的来源列表段落拆短,结论提到句首

表里第 3 行最少人查,也最容易改。1 个站的表格全是图片,改 3 天,语料完整度能上一个台阶,后面 2 类的效果才看得出来。顺序错了,先把段落拆得再漂亮,语料里还是空白。

怎么核验改完有没有用

  1. 抓取量:连续 7 天看日志里真爬虫的请求数,涨了说明第 1 类通了。
  2. 索引量:新页面发布后 14 天查 1 次,10 个里进 6 个以上说明第 2 类通了。
  3. 引用数:挑 5 个词在 AI 搜索里问 1 遍,看答案里有没有自己域名,有 1 个以上说明第 4 类开始起效。

3 个指标按顺序看,别跳。第 1 个不动,后面 2 个一定不动;第 1 个动了第 2 个不动,问题在内容重复。这套顺序能省掉 80% 的无效排查。

墙边立着的白板与地面的延长线

4 类规则哪一类最常被忽略

第 3 类,语料与快照。原因很直接:抓取量与索引量在后台有数字看,语料与快照没有面板,只能自己开纯文本视图比。看不见的环节,通常也没人查。

我接手过的 6 个站里,5 个站的参数表是图片,另有 2 个站的正文要点击才展开。这类页面被抓了、也被收了,AI 取用时读到的却是空白。改这类的成本最低,1 个页面 30 分钟能改完,比改内容结构快得多。

怎么 10 分钟查出这一类问题

挑 5 个重点页,逐个做 1 个动作:在浏览器里按 Ctrl+A 全选,复制,粘贴到记事本。看 3 处:标题、正文首段、表格里的数字。3 处都在,说明这一类的底子是好的;缺 1 处,就先把那 1 处改成文本。

5 个页面查完,问题清单就有了。按"先补表格、再补展开内容、最后补图片说明"的顺序改,1 个中型站 3 天能改完一轮,改完第 2 周再抽查 5 个页面。

先改哪一类

按卡的顺序改。抓取量近 7 天为零,先改第 1 类;抓取正常索引不动,改第 2 类;2 项都正常但 AI 答案里没有自己,改第 3、4 类。1 次只改 1 类,改完等 14 天再看数据,别同时动 2 处。

同时动 2 处的代价我尝过:改完索引涨了,但不知道是拆重复段落起了作用还是放开标签页起了作用,第 2 个站又要重新试 1 遍。1 次 1 类,14 天 1 个周期,3 个月能把 4 类走完。

资源少的时候怎么排

1 个人做,按第 1、2、3、4 的顺序,每类留 2 周。预算紧就只做第 2 与第 3 类,这 2 类改动全在自己站内,不依赖外部资源,见效也快。

4 类走完,回头看第 1 类的配置。标签页放开后抓取预算被摊薄,重点页要靠站点地图与内链拉回来,这一步常被漏掉,漏掉后正文页的抓取频次会往下走。

4 类规则里,前 2 类决定"有没有资格进库",后 2 类决定"进去之后能不能被用上"。顺序摆清楚,排查就有路可走,1 个站 1 个月能走完 1 遍。

本文信息核对时间:2026-11