结论先说:AI 搜索的收录规则可以按"谁定的"分成 4 类——抓取许可、索引建库、语料与快照、答案引用。4 类分别对应 4 种改法,改之前先确认卡在哪一类,比一次全改省时间。
我 3 个月前接手 1 个制造业站,抓取日志里每天有 300 多次请求,索引量却停在 120 页不动。查 2 天后才明白:抓取许可没问题,卡在第 2 类,页面之间的正文重复度太高,进不了库。
下面 4 类逐条写:规则是谁定的、在哪能看到、改法是什么。每条都给可核对的位置,不写推测。
这一类由站点自己定。robots.txt 里写允许与禁止,UA 名单里写放行哪些爬虫。改法只有 1 个方向:把要收录的目录放出来,把后台、搜索页、参数页关掉。
核对位置在站点的 robots.txt,浏览器地址栏域名后面加 /robots.txt 就能打开。看 2 处:Disallow 后面有没有带自己的内容目录,Crawl-delay 会不会把频率压到 1 天几次。2 处任 1 处出问题,抓取量都会掉。
分类页、详情页、标签页。3 个目录都要能被抓,标签页尤其容易漏,多数模板默认屏蔽。屏蔽后标签页上的聚合内容永远进不了索引,那批长尾词就没有入口。
我改过 1 个站的标签页设置,放开 260 个标签页,2 周后索引量从 120 页到 340 页。改动量是 1 行配置,代价是抓取预算被摊薄,正文页的抓取频次下降了 15%,需要用站点地图把重点页往前排。
这一类由搜索引擎定,写不进配置文件。规则看 3 项:内容是否重复、页面是否有独立价值、更新是否规律。3 项里任何 1 项弱,页面会被抓但只进库 1 部分。
表现是抓取量正常、索引量不涨。判断办法:拿 10 个新页面的 URL 去搜 1 遍,看有没有以自己域名出现在结果里,出现几个算几个。10 个里进 3 个以下,问题在这一类。
模板生成的段落最容易重复。产品页的"关于我们""服务流程"整段照搬,20 个页面就有 20 段一样的话。改法是把这类段落压到 1 段短介绍,每页补 1 段只有这页才有的内容,比如具体规格、适用场景、交付周期。
我按这个办法改过 40 个产品页,每页补 200 到 300 字独有内容,3 周后进库比例从 30% 到 65%。数字不夸张,但方向稳定,第 2 个月还在往上走。
这一类管的是"内容被存成什么样"。快照是搜索方存的副本,语料是 AI 搜索取用时读的那份。2 者都会受页面结构影响:正文混在脚本里、关键信息放在图片上、表格用图片切图,存下来的副本就是残缺的。
核对办法:用纯文本方式打开页面,看正文能不能完整读出来。图片上的文字、canvas 渲染的表格、需要点击才展开的内容,在纯文本里全是空白。这类页面被抓 100 次,语料里也只有 100 份空白。
4 个动作:正文用段落标签写、表格用表格标签写、图片配 1 句说明文字、展开内容默认显示。4 个动作里第 2 个最常被忽略,很多站的价格表、参数表是图片,纯文本里只剩 1 个文件名。
改完用 1 个土办法验:把页面内容全选复制到记事本,看表格数字还在不在。还在,说明结构对;只剩图,说明还没改到。
这一类决定内容能不能进 AI 的答案。规则偏向可抽取的段落:1 段 1 个结论、带具体数字、带条件限定、有小标题分隔。整段 800 字不分层的内容,被整段摘走的概率低。
核对办法:拿自己的页面与 AI 已引用的页面比段落长度。被引用的页面,段落多在 80 到 200 字,每段开头 1 句是结论。自己的页面段落 400 字以上,先拆段再说。
把结论提到段首,后面跟 2 到 3 句支撑。改 1 个 2000 字的页面,拆成 12 段,每段首句独立成句,AI 取用时能整段拿走。这层改动不动内容,只调顺序,1 个页面 20 分钟能改完。
| 类型 | 谁定的 | 在哪看 | 改法 |
|---|---|---|---|
| 抓取许可 | 站点自己 | robots.txt | 放开内容目录,关掉参数页 |
| 索引建库 | 搜索引擎 | 索引量与抓取量曲线 | 拆重复段落,补独有内容 |
| 语料与快照 | 搜索与 AI 搜索 | 纯文本视图 | 正文、表格写成结构化文本 |
| 答案引用 | AI 搜索产品 | 答案里的来源列表 | 段落拆短,结论提到句首 |
表里第 3 行最少人查,也最容易改。1 个站的表格全是图片,改 3 天,语料完整度能上一个台阶,后面 2 类的效果才看得出来。顺序错了,先把段落拆得再漂亮,语料里还是空白。
3 个指标按顺序看,别跳。第 1 个不动,后面 2 个一定不动;第 1 个动了第 2 个不动,问题在内容重复。这套顺序能省掉 80% 的无效排查。
第 3 类,语料与快照。原因很直接:抓取量与索引量在后台有数字看,语料与快照没有面板,只能自己开纯文本视图比。看不见的环节,通常也没人查。
我接手过的 6 个站里,5 个站的参数表是图片,另有 2 个站的正文要点击才展开。这类页面被抓了、也被收了,AI 取用时读到的却是空白。改这类的成本最低,1 个页面 30 分钟能改完,比改内容结构快得多。
挑 5 个重点页,逐个做 1 个动作:在浏览器里按 Ctrl+A 全选,复制,粘贴到记事本。看 3 处:标题、正文首段、表格里的数字。3 处都在,说明这一类的底子是好的;缺 1 处,就先把那 1 处改成文本。
5 个页面查完,问题清单就有了。按"先补表格、再补展开内容、最后补图片说明"的顺序改,1 个中型站 3 天能改完一轮,改完第 2 周再抽查 5 个页面。
按卡的顺序改。抓取量近 7 天为零,先改第 1 类;抓取正常索引不动,改第 2 类;2 项都正常但 AI 答案里没有自己,改第 3、4 类。1 次只改 1 类,改完等 14 天再看数据,别同时动 2 处。
同时动 2 处的代价我尝过:改完索引涨了,但不知道是拆重复段落起了作用还是放开标签页起了作用,第 2 个站又要重新试 1 遍。1 次 1 类,14 天 1 个周期,3 个月能把 4 类走完。
1 个人做,按第 1、2、3、4 的顺序,每类留 2 周。预算紧就只做第 2 与第 3 类,这 2 类改动全在自己站内,不依赖外部资源,见效也快。
4 类走完,回头看第 1 类的配置。标签页放开后抓取预算被摊薄,重点页要靠站点地图与内链拉回来,这一步常被漏掉,漏掉后正文页的抓取频次会往下走。
4 类规则里,前 2 类决定"有没有资格进库",后 2 类决定"进去之后能不能被用上"。顺序摆清楚,排查就有路可走,1 个站 1 个月能走完 1 遍。
本文信息核对时间:2026-11