AI 搜索的收录规则是怎样的?内容怎么才进得去

2小时前发布

先说结论:AI 搜索没有公开的收录后台,也没有一个统一的地方让你提交网址。一页内容能不能进到它的回答里,取决于三件事——爬虫抓不抓得到这一页、抓下来能不能把正文解析出来、解析出来的内容里有没有值得被引用的事实。三件事掉一环,后面都白搭。

为什么找不到提交入口

不少人习惯性地去找「AI 搜索站长平台」,想在那里提交链接、查收录量。找不到是正常的,这类后台没有对外的入口。手边能用的还是搜索引擎那套老工具:百度搜索资源平台、必应站长工具、Google Search Console。它们是给传统搜索做的,AI 产品抓不抓、抓多少,各家都没对外讲过。

能确认的一点是,多数 AI 搜索取网页时走的还是通用爬虫那套流程。先发现 URL,取回 HTML,抽出正文,再决定这段话有没有用。它跟传统搜索的差别在后半段:传统搜索把页面存进索引等着被检索,AI 搜索盯着的是「这段内容能不能直接回答一个问题」。

它仍然沿着抓取这条链路在走

服务器日志里能看到一部分真相。更新勤、内链清楚的站点,蜘蛛来得也勤。三个月没动过的页面,抓取次数会肉眼可见地掉下去。这不是惩罚,是抓取配额有限,它把时间花在更可能变化的地方。

我见过一个写工具的博客,靠每周两篇的稳定节奏,把抓取覆盖率从三成拉到七成,用了小半年。它没做外链,也没改标题,只是让爬虫每次来都有新东西可拿。

抓不到,后面全是空谈。

爬虫那一关:先看 robots.txt,再看站点地图

爬虫进站先读根目录的 robots.txt。这份文件里如果写了 Disallow: /,或者把 GPTBot、Bytespider 这类 UA 单独挡在外面,后面的优化都不用谈,门都进不来。很多站点被主题或者插件塞了一大段规则,站长自己没看过,值得花五分钟打开域名加 /robots.txt 对一遍。

放行之后,它需要知道站里有哪些页面。sitemap.xml 干的就是这件事,把重要页面的 URL 按更新时间列清楚,爬虫顺着走,比让它自己一页页点链接省事得多。

用户手持手机查看搜索答案界面

日志里能验证这件事

判断蜘蛛到底来没来,看 access.log 就够。盯两处:UA 里有没有 GPTBot、Bytespider、Baiduspider 这些名字;请求的路径是不是你要它抓的那些 .html 页面。

我替一个做本地服务的朋友查过日志,蜘蛛来了,抓的却全是标签页、分页参数和站内搜索结果页,正文页一次没进。原因不复杂,正文页没进站点地图,内链也少。把地图补全、在列表页加上直达链接之后,情况才反过来。

还有个小细节:地图文件别做得太大。单个文件超过五万条 URL 或者五十兆,就得拆成索引文件。塞了几十万条却没人维护的地图,爬虫读一半就放下了。

页面得能被读懂,正文要写在 HTML 里

抓回去的是一个 HTML 文件。如果正文全靠 JS 渲染,爬虫拿到的可能只是一个空壳,剩下导航、页脚和一堆脚本。有的产品会执行 JS,有的只取原始 HTML,你没法确定它一定执行,那正文就该老老实实躺在 HTML 里。

验证方法很土:浏览器里按 Ctrl+U 看源码,搜正文里的一句话。搜得到,说明它在 HTML 里;搜不到,那就是脚本后来填进去的。

小标题、分点、问答结构更好抽

要把两千字压成三句回答,它得先分清哪块是问题、哪块是答案。h2 写清这一段讲什么,下面用几个 li 列要点,再配一段两三百字的解释,这种结构读起来省力。整页不分段、通篇一个大块,抽取时就容易抓错重点。

问答式写法格外管用。把用户会问的原话当小标题,比如「没有外链的新站会不会被收录」,下面直接给答案,中间别绕弯。模型要的就是这种能整段搬走的片段。

还有一处容易漏:折叠起来的内容。有的站点把正文放在「展开阅读全文」后面,点了才加载。人看得见,爬虫不一定点。真要折叠,把全文留在 HTML 里用样式藏,别用异步请求去取。

自查有个笨办法:把页面地址丢进抓取模拟工具,分别看执行 JS 和不执行 JS 时抓出来的文本。两边一比,差掉的那部分就是爬虫可能读不到的。

电脑屏幕上搜索框与结果列表画面

内容层面:什么样的句子会被引用?

抽取只是手段,留不留得下看内容本身。一段话里如果全是「效果不错」「体验很好」「行业领先」,模型拿它没法用,因为这些词转述不出事实。换成「robots.txt 里的 Crawl-delay 设成 10,抓取间隔会拉长」,它就能直接用。

形容词换不来引用

具体分几层:给数字、给条件、给边界。说「响应要快」,不如说「接口超过八百毫秒,用户就会觉得卡」。说「注意地区差异」,不如说「同一个手术在不同城市,报销比例能差出两三成」。有条件、有范围的说法,才经得起被单独摘出去。

页面开头那段也值得改。结论放在前三行,别让人滚三屏才看到答案。抽取的时候,开头这段经常被整段拿去当摘要。

一页只讲一件事。把「AI 搜索收录」和「关键词布局」塞进同一篇,两边都讲不深,抽取时也判断不出这页在回答什么。

对比式的写法也顶用。同一个问题,A 做法会怎样、B 做法会怎样,中间差在哪,这种段落被引用的概率不低,因为它自带判断标准。怕的是通篇只给一种说法,却不说什么情况下不成立。

能主动做的几件事

没有提交入口,不等于什么都做不了。下面这几件能落地,也能看到反馈。

把地图交上去,并且让它保持新鲜

在百度搜索资源平台和必应站长工具里提交 sitemap.xml,属于常规动作。真正要盯的是地图里的 lastmod 跟不跟得上内容。正文改过,时间戳还停在半年前,爬虫会按旧页面处理,重抓的优先级排到后面。

地图里只放值得被收录的页面。标签页、站内搜索页、带一串参数的筛选页统统别放,白占抓取配额,也把正文页稀释掉了。

加结构化标记,把一个主题写透

Article、FAQPage、HowTo 这几类 schema.org 标记,能让页面自己说明「这是文章」「这是问答」「这是步骤」。按官方文档填字段就行,不复杂。它不保证被采用,成本低,该加就加。

办公室内对着笔记本查阅资料的场景

比标记更管用的是写透。同一个主题下,一页讲原理、一页讲操作、一页讲常见错误,互相用内链串起来,蜘蛛爬得下去,模型也容易把它们当成一组材料。十篇各写五百字的散稿,顶不上三篇写到底的长文。

更新节奏比更新频次有意义。一个月改一次,每次补进新的例子和数据,胜过天天改标点。页面上标一行「更新于某年某月」,读者和爬虫都看得出这页还活着。

内链别嫌麻烦。每篇新文发出去,回头在两三篇旧文里加上指向它的链接,路径就通了。正文里自然带一句「这一点在另一篇里拆过」,比堆在页脚的「相关阅读」更容易被顺着点下去。

几个容易走偏的想法

「交了钱就能进 AI 的回答。」没有这样的通道。打着这类旗号的服务,做的多半还是常规内容优化,跟 AI 收录没有直接关系。

「页面被收录,回答里就一定有。」收录和引用是两回事。收进去只拿到候选资格,能不能被挑中,还看这段内容跟问题贴不贴、说得准不准。

「关键词堆得密一点更容易被抓到。」堆词的页面读着别扭,抽出来的句子也残缺,反而更难用。把一句话说清楚,比塞五个同义词管用。

「新站没机会。」新站起步慢是真的,地图交对、正文在 HTML 里、内容够具体,被爬到只是时间问题。老站的优势在历史和外部链接,不在什么玄学。

这些是能观察到的规律,不是官方口径

各家产品的收录机制都没公开过,也没有谁发过一份抓取说明。上面这些是从日志、源码和实际抓取行为里反推出来的,能对上大部分情况,不排除个别产品另有做法。

真要动手,顺序可以这么排:看 robots.txt 放没放行,看站点地图全不全,确认正文在源码里,回到内容本身把抽象的说法换成具体的事实。四步过了,剩下的是等。