关掉 AI 搜索优化相关功能,要先分清关的是哪一层:浏览器与搜索端的 AI 摘要开关、站点后台的插件与抓取放行配置、服务商侧的授权与内容托管。3 层关的东西不同,只关 1 层,剩下 2 层还在跑。
我 2025 年帮 1 个客户做过停用,他以为在后台点 1 个开关就完事,结果 2 周后 AI 回答里还在引用他家页面。查下来是服务商侧的内容副本没撤,站点这层关得再干净也没用。
准备工作做 3 件事,10 分钟能查清。
第 3 项别省。robots 文件写错 1 个字符,整站会被搜索引擎挡住,恢复要等重新抓取,通常 3 到 7 天。留底还包括服务商后台的截图,有的平台在合同到期后会关闭后台,届时想看当时的授权状态只能靠截图。
清单里如果出现「内容托管在对方服务器」这一项,要提前把迁移排进计划。托管类服务停用后,页面会随之下线,先确认自有站点或备用地址能接住这些内容,否则停用当天就会出现 404。这类迁移少则 3 天,多则 2 周。
按 5 步做,顺序从用户侧到服务商侧,先易后难。
第 5 步最容易被拖。书面通知里写明完成时限,比反复打电话有效。按经验,5 步全部走完要 2 到 3 天,第 5 步占掉一半时间,多数拖延都出在等对方回执这一段。
操作时建议开 1 份记录表,3 列就够:动作、执行时间、执行人。后面排查「到底关没关」时,这份表能省掉反复试的功夫。有 1 次客户说关过了,翻记录发现只做了第 1 步,站点侧完全没动。
改配置时会碰到几个字段,下表是填法与常见错填。
| 字段 | 填什么 | 常见错填 |
|---|---|---|
| robots 禁止段 | User-agent 加 Disallow 两行,路径写斜杠 | 写成 Allow,规则反向 |
| 禁止范围 | 先只挡 AI 爬虫的 UA,别用全站禁止 | Disallow 只写斜杠,整站被挡 |
| 生效时间 | 保存后立即生效,抓取端缓存 1 到 7 天 | 以为改完马上停抓 |
| 插件停用深度 | 停用后再删除,清 1 次缓存 | 只停用,更新后自动恢复 |
| 通知内容 | 3 项要求加完成时限 | 只说「不合作了」,无具体动作 |
按现象对原因,6 种情况覆盖多数问题。
第 1 条要分清引用源。AI 回答里出现你家的话,不代表它现在还在抓你,可能是 1 个月前的缓存,也可能是别处转载。
验证看 3 组数据,观察窗口给 4 周。
第 2 项决定有没有误伤。挡 AI 的时候顺手把搜索引擎也挡了,收录会掉,恢复要等重新抓取,比关掉麻烦得多。对比时把 2 类抓取分开看,搜索引擎的日抓取量波动幅度多在 15% 以内,人工智能类抓取掉到 0 才算干净。这 3 组数在同一天取,跨天对比会受发稿节奏影响。
只动第 1 步和第 2 步就够:关浏览器与 App 的摘要开关,停用站上的 AI 插件。robots 与合同不动,站点仍可被 AI 抓取,只是你本地界面不再显示摘要。这个组合适合只想清净、不想影响流量的情况。
不会,前提是规则只针对 AI 爬虫的 UA。搜索引擎的抓取与 AI 抓取走不同的 UA 与入口,分开挡即可。有 1 次客户把整站 Disallow,3 天后核心词排名全掉,属于误操作。
配置层面不难,删掉禁止段、重装插件、重新授权,1 到 2 天能恢复。难的是内容侧:停用期间没有新内容进 AI 的索引,恢复后要重新积累,通常要 4 到 8 周才回到停用前的引用水平。决定停之前,把这段时间成本算进去。
本文信息核对时间:2026-11