官网的技术细节会影响 AI 抓取吗

年初看一个客户的站，视觉做得很讲究，滚动视差、渐显动画、卡片翻转，手机上看着更漂亮。但在 AI 里问他们的主营产品，答案是空的，或者答的是三年前的老产品线。

抓了一下源码，正文全在脚本里。蜘蛛拿到的是一个空容器加三个 JS 文件，标题有，正文没有。这种站，内容写得再好也进不去。

技术细节对 AI 抓取的影响，比多数人想的直接。它不玄，就是几个具体问题。

最要紧的一件：正文在不在 HTML 里

判断方法很简单，把页面存下来，关掉浏览器脚本，看还剩多少字。剩一半以上，稳；只剩标题和页脚，那就是空壳。

现在的搜索引擎和 AI 抓取端，渲染能力参差不齐。有的能跑脚本，有的只读源码。你赌它一定渲染，就等于把一半流量交给运气。

稳妥的做法是服务端直出。内容管理系统本来就该这么干，很多前端框架也支持，配置一项就能开。做完这一步，其余优化才有意义。

哪些内容最容易被落在脚本里

产品参数表、价格、库存、评价、常见问题，这几类是重灾区。它们往往由接口返回，页面加载完才填进去。

这四类恰好是最该被引用的内容，因为它们有数字、有结构、有明确指向。全塞在接口里，等于把最有价值的部分藏起来。

改法不复杂：首屏参数用服务端输出，交互部分再交给脚本。用户感觉不到差别，机器能读到东西。

入口有没有堵

robots 与地图文件

两件事要确认：robots 里没有误拦内容目录；地图文件能正常访问，返回 200，内容是 XML 而不是一页 HTML 报错。

我遇到过地图文件返回 200 但内容是一个「页面不存在」的 HTML，状态码骗人，内容不骗人。这种错在监测工具里看不出来，得手动打开看一眼。

站内链接的深度

内容页离首页超过三次点击，抓取优先级会掉。三层以内的页面，被完整抓走的概率高得多。

扁平化不是把菜单塞满，是给每个栏目配一个聚合页。分类页做好，深层内容就少了一层。

分页与筛选参数

带参数的列表页容易生成大量近似地址，抓取预算被浪费在翻页上。用规范标签指明主地址，把参数页排除在地图之外。

结构化数据到底有多大用

这东西被吹得有点过，但也不是没用。它的实际作用是减少误读，不是直接换来排名。

加了企业信息标记之后，机器能准确知道公司全称、地址、电话、成立时间，不用从正文里猜。猜错的概率不低，名字里带地名或者行业词的企业最容易中招。

文章类标记能明确标题、作者、发布时间。发布时间这一项值得单独做，因为它影响机器对新旧的判断。

别做假标记

标记里写的内容跟页面正文不一致，是最糟的做法。机器做交叉校验，对不上就整页降权。

有客户在标记里写评分 4.9，页面上一条评价都没有。这种属于自己给自己找麻烦。

速度的影响没那么大

加载慢确实影响抓取预算，但它不是决定性因素。三秒和五秒的差别，远不如「正文在不在源码里」这个问题的分量。

真要提速，先看图片。首页十几张大图没压缩，一张两兆，这是最常见的拖累。压缩到两百 K 以内，视觉上几乎看不出差别。

再就是第三方脚本。统计、客服、广告、字体，加起来常常比自己的代码还重。能延后加载的一律延后。

移动端和 PC 内容不一致

不少站的移动版砍掉了大量内容：参数表折叠、案例只留标题、常见问题整块删掉。移动端流量占七成，被抓到的却是残缺版本。

移动端抓取现在占主流，这个偏差的实际影响比想象中大。同一篇文章，PC 上两千字，移动端五百字，机器读到的多半是后者。

做法是内容一致，排版不同。该折叠的用展开组件，别真删。

容易漏掉的服务器层面细节

重定向链不要太长

从 http 跳到 https，从裸域跳到带 www，从旧地址跳到新地址，三跳叠在一起，抓取端容易在中间停下。做一遍地址梳理，把多跳压成一跳。

跳转还分两种：301 是永久，302 是临时。改版迁移用 301，机器会把旧地址的权重挪到新地址。用 302 的话，旧地址的入口就白攒了。

错误页要返回正确的状态码

不少站的「页面不存在」返回 200，页面内容写着「抱歉，页面走丢了」。这叫软 404，机器会把这些空页当成正常内容抓走，白白吃掉抓取份额。

做法是把错误页的状态码改成 404。这一项改动很小，对抓取预算的回收立竿见影。内容量越大的站，收益越明显。

压缩与缓存

文本开启压缩，体积能降到三成左右。静态资源设长缓存，第二次访问就不再重复下载。这两项在多数服务器上一行配置就能开，收益比换框架大。

几个常见误判

头一个是把「没被抓」当成「被抓了但不收录」。这两个的处置完全不同，前者修入口，后者修内容。判断依据在服务器日志里，不在后台报表里。

第二个是把改版当成优化。改版之后地址全变了，旧地址没有做跳转，等于把攒了几年的入口一次清空。改版前先把地址映射表列出来，一条一条做跳转。

第三个是只盯首页。首页被反复抓，内容页一次没抓，这种情况很常见。原因是首页权重高，但首页没有可引用的具体信息。多给内容页做内链，把抓取引过去。

一份可以照着走的检查清单

关掉脚本，页面还剩多少字；robots 有没有误拦；地图文件返回的是不是 XML；内容页离首页几次点击；首屏参数是不是服务端输出；结构化标记跟正文对不对得上；移动端正文有没有被删；改版地址有没有跳转；首页大图有没有压缩；服务器日志里最近两周有没有对应蜘蛛。

十项，半天能查完。查完通常能找出两三个真问题。查的顺序建议按上面的排列来，前面几项的分量比后面重，别在压缩图片上耗一天，回头发现正文根本不在源码里。

那位客户后来怎样

他们把产品页改成了服务端直出，参数表进了源码，首页大图从两兆压到一百八十 K，又把移动端被删掉的案例段落补了回来。前后花了不到两周。

六周后再问同样的问题，答案里出现了他们的三个产品系列，参数基本准确。

技术细节这件事，最容易犯的错是把它想复杂。真正卡住抓取的，多半就是「正文在不在源码里」这一条。剩下的都是加分项，这一条是及格线。真要把这些全做完，一个月足够，难的是知道先做哪一项。