要关的「AI 搜索功能」分 3 层:AI 应用里的联网搜索开关、搜索引擎结果页的 AI 摘要、自己网站对 AI 爬虫的授权。前 2 层在手机设置里点 2 下就能关,第 3 层要改服务器上的 robots.txt。多数人只关了第 1 层,然后发现内容还在被引用,原因就在这里。
2026 年 3 月我帮 1 家做工业耗材的公司处理过这件事。他们的运营把 App 里的联网开关关掉,以为内容不会再被 AI 抓。实际上抓他们站点的是爬虫,与手机上的开关没有关系。真正见效的动作是在 robots.txt 里加 5 条规则,加了之后第 3 天抓取日志里的对应 UA 就归零。这件事也说明 1 点:使用端的开关只管自己的提问记录,站点端的授权才决定内容会不会被引用。
3 件事不分清,改完也说不清哪里变了。第 3 件涉及站点文件,动之前先备份。
使用端分 2 个位置:AI 助手 App 内、搜索引擎结果页。第 2 个位置多数产品没有开关,只能换页签。
3 个变化:回答里的链接消失、时效性问题会答「我无法获取实时信息」、长文写作不再引用具体来源。要查当天的事,仍然要开回联网。我的做法是默认关闭,需要查资料时临时开 1 次,用完再关。
企业版或团队账号的设置项由管理员下发,个人端关掉只对自己生效。管理员要在后台的「安全与合规」里统一关闭联网与数据留存,2 个位置都改完,成员才真正停用。这一步涉及权限,找管理员比自己在 App 里翻更省时间。
站点端才是决定内容会不会被 AI 引用的那一层。5 步做完,24 小时内生效。
写规则时只针对 AI 的 UA,别写 User-agent: * 加 Disallow: /。后者的效果是把百度、必应的蜘蛛一起挡在门外,站点会直接从搜索结果里消失。这个错误我见过 2 次,1 次是小程序官网,挡了 11 天才发现,收录掉了 40 多页。
常见做法是只屏蔽后台与接口目录,正文照常开放。写法是给同一批 UA 加 1 组 Disallow: /admin/ 与 Disallow: /api/,正文路径不写。这样 AI 抓不到你的数据接口,但正常用户与搜索引擎不受影响。判断哪些目录该挡,看日志里被高频请求的路径,前 10 条里通常有 3 到 4 条是接口。
表格第 3 列是错填的高发点。第 1 个字段写错,整段规则不生效。
| 字段 | 填什么 | 常见错填 |
|---|---|---|
| User-agent | 爬虫 UA 名,如 GPTBot | 写成网址或带 http 前缀 |
| Disallow | / 表示全站禁止 | 写成域名,规则失效 |
| Allow | 要放开的子路径 | 与 Disallow 顺序颠倒 |
| Sitemap | 完整 URL,含 https | 写相对路径,爬虫读不到 |
第 4 个字段容易被当成装饰。Sitemap 写对了,普通搜索引擎的抓取效率会稳定一些,和 AI 屏蔽并不冲突,2 者可以同时存在。
还有 1 个不写在 robots.txt 里的开关:页面的 meta 标签。加 1 行 noai 或 noimageai 的声明,部分平台会读。这类声明没有强制力,只能当补充。真要让内容不被抓,robots.txt 加 WAF 才是硬约束,meta 标签属于态度表达。
5 类按出现频率排。前 2 类占了大部分「改了没效果」的反馈。
如果关的是外包的「AI 搜索优化服务」,动作不在设置里,在合同里。先看 3 条:服务周期怎么算、提前终止要不要付剩余月份、数据与账号归谁。监测类服务停掉后,之前的报告与截图要 1 次性导出存档,账号权限同步收回。这几步做完再停付款,顺序反了容易拿不到数据。
3 个动作,使用端与站点端各验 1 次。第 3 个动作最容易被跳过,也最能说明问题。
验证前先接受 1 个前提:屏蔽抓取只影响后续,已经进入索引的内容不会立刻消失。按常见情况,索引更新要 1 到 4 周,快照与缓存可能更久。验收的窗口按 30 天算,别按 3 天算。
3 个动作的结果要合起来看。只做第 1 个,只能说明手机上的开关生效;只做第 3 个,看到引用消失就以为屏蔽到位,其实可能只是那 1 次没被抓到。2 个方向都验过,才算真的关掉。要留证据的,把日志截图与 UA 统计导出 1 份,存到归档目录,30 后再回看 1 次就能确认趋势。
本文信息核对时间:2026-11。各平台设置项名称随版本变化,找不到对应项时在设置页搜「联网」或「记忆」;robots.txt 的具体写法按站点所用服务器的说明执行。