关闭 AI 搜索功能分 3 个位置:搜索引擎与浏览器侧的 AI 摘要开关、自有站点侧的抓取许可、服务商侧的账号与内容回收。3 处各管一段,只关 1 处通常看不到效果。
2026 年 4 月有 1 个客户要求关闭全部 AI 搜索相关功能,我先关浏览器开关,站点的抓取日志里 AI 爬虫请求量没变,跑到第 3 层改 robots.txt 才降下来。这 3 层的边界,多数人第一次会弄混。
下面按 3 层写 6 步操作、1 张开关对照表、4 个排查、3 个验证动作。各平台入口名不同,按功能名找比按位置找可靠。
3 层的目的完全不一样。第 1 层关的是「你看不看」,第 2 层关的是「别人能不能抓」,第 3 层关的是「谁在替你做事」。搞混方向,关完发现没变化是常事。
第 3 步容易漏。不少平台的设置是跟着账号走的,登录状态下生效、退出后回到默认。要彻底不看,得在未登录状态也设置 1 遍,或改用无痕窗口。
这 3 步做完,浏览器层面基本清干净。我试过只关侧边栏不换默认搜索,地址栏回车还是先出 1 段答案,第 2 步不做等于没关。
第 1 层还有 1 处常被忽略:输入法的联网搜索。手机输入法在候选词上方会带 1 行搜索结果,关掉要去输入法设置的「智能输入」或「联网搜索」项里改。这 1 处不关,搜索引擎的摘要关了也还会看到类似内容。
4 步里第 3 步最常写错。1 段里写 2 个爬虫名,只有第 1 个生效,第 2 个照抓。改完隔 3 天查 1 次日志,看目标爬虫的请求数是否下降。
这 3 步比改 robots.txt 更硬。robots.txt 是约定,尊重约定的爬虫会停;UA 规则是拦截,不尊重的也进不来。代价是维护成本高,爬虫名一变就要跟着改。
| 层 | 改什么 | 生效时间 | 影响范围 |
|---|---|---|---|
| 搜索设置 | AI 摘要开关 | 立即 | 仅本人账号 |
| 浏览器 | 默认搜索与入口 | 刷新后 | 本机全部窗口 |
| robots.txt | 按爬虫名 Disallow | 1 到 7 天 | 全站 |
| 服务端 UA | 拒绝规则 | 立即 | 全站 |
| 服务商 | 账号与内容 | 按合同 | 已发布内容 |
5 行里前 2 行只影响自己,后 3 行影响站点与外部内容。关之前先想清影响范围,站点的抓取许可一改,正常搜索的收录也可能受牵连。
第 2 层还有一个副作用要提前知道:部分聚合站会按 robots.txt 的写法判断站点质量,全站拦 AI 抓取的站点,在它们的排序里会往后掉。
3 步里第 2 步最容易被忽略。服务停了但账号还在对方手里,过几个月发现又发了 10 篇,追责很难。我处理过 1 次,收回 5 个账号花了 2 周。
第 2 层改完,建议先只拦 1 个爬虫、观察 7 天再逐个加。1 次全拦的做法风险高,正常搜索的抓取也可能被误伤,收录掉的比预期多。我按 7 天 1 个的节奏加了 4 个,收录波动控制在 5% 以内。
3 个层位的顺序别弄反。先关自己面前的开关,再动站点配置,最后处理服务商。反过来的话,站点抓取一停,第三方服务商那边还在按计划发内容,2 个头绪同时变,出了问题分不清是哪边引起的。
关掉的顺序里还有 1 个细节:先在测试环境改 1 遍。站点的抓取许可改错,主站的收录掉下来要 2 周才恢复,测试域名上验 1 次 20 分钟能省掉这 2 周。
第 4 条要提前说清。内容一旦被聚合站转载,删除原稿对副本无效。想彻底不留痕,只能在发布前就不发。
关闭之前建议先留 1 份基线。把近 30 天的访问来源按渠道拆开,记下搜索来的访问量、AI 端来源的占比、平均停留时长 3 个数字。关完 30 天后再对 1 次,才能说清代价是多少。
有些站点不适合全关。产品页与帮助中心被 AI 引用的比例高,这类页面带来的是精准咨询,关掉等于把客户挡在门外。可行的折中是只拦采集类爬虫,保留正规搜索的抓取许可,按 UA 逐个判断而不是整段关闭。
关完别急着删配置。把改前的 robots.txt 原文、UA 规则列表、账号清单各存 1 份,30 天内如果发现误伤,能 10 分钟改回去。我在第 9 天回滚过 1 次,靠的就是这份备份。
3 个动作里第 2 个最客观。日志数字不看人情,降没降一眼能看出来。我复查过 1 次,robots.txt 明明写了 Disallow,日志里请求数没变,追下去是 CDN 缓存了旧文件,刷新缓存后才降。
关闭这件事有代价:站点的 AI 端流量会一起没。关之前先把近 30 天的来源占比拉出来看 1 遍,占比高的站点要权衡,别一刀切。
3 层全关的工作量按 1 个站点算,1 到 2 天能完成,其中服务商那层的沟通最花时间。关完把日期与操作人记进 1 张表,半年内有人问起,不用重新翻日志。
本文信息核对时间:2026-11