要关干净,得动 3 处:站内后台的 AI 摘要或自动生成模块、服务器对 AI 爬虫的放行规则、搜索平台里的 AI 内容授权项。只关第 1 处,页面已经生成的摘要仍会挂在缓存里,快则 1 周、慢则 1 个月才下线。3 处按顺序关,2 周能收尾。
第 1 项,后台管理员账号。要能进「设置」「插件」「生成配置」这 3 个菜单,普通编辑账号多数看不到生成类配置。多人管理的站,先确认账号角色,不然进去只能看不能改。
第 2 项,robots.txt 的编辑权限。文件在网站根目录,通过主机面板的文件管理或 FTP 改。只有 CMS 后台权限、没有主机权限的,这一步要联系运维。
第 3 项,日志查看权限。验证有没有关干净要看访问日志,日志一般在主机面板的「网站日志」或服务器路径下。没有日志权限的,用 1 个第三方抓取检测工具替代,结果精度差一些。
3 项准备里,第 2 项最容易卡住。托管在别人平台上的站,根目录常常不给改,这种情况只能走平台提供的「自定义 robots」入口,或者用页面级的 meta 标签替代。meta 的写法是 1 行,加在模板 head 里,缺点是要逐个模板改,20 个模板就要改 20 次。
每步写清入口位置与要看的字段,顺序不要调换。
第 5 步最容易漏。我 2025 年给 2 个站做过这套清理,第 1 个站只关了后台与 robots,2 周后 AI 答案里仍能搜到旧摘要,回头查才发现搜索平台那边的授权项还开着。第 2 个站按 5 步全走,第 3 周复测时页面摘要已换成新版本,前后差 1 个环节,结果差 2 周。
下表是 3 处要填的参数,填错会导致拦不住,或者把正常搜索蜘蛛一起拦掉。
| 位置 | 填什么 | 常见错填 |
|---|---|---|
| robots.txt 路段 | 按路径写,如 /ai/ 或 /api/gen | 写全站 Disallow,把搜索蜘蛛一起挡了 |
| UA 屏蔽列表 | 完整 UA 片段,含版本号 | 只写厂商名,拦不到改了 UA 的请求 |
| 返回码 | 403(拒绝)或 404(不存在) | 用 302 跳首页,会被当成正常访问 |
| 缓存清理 | 只清页面缓存,不动数据库 | 点「清空全部缓存」,把配置也清了 |
| AI 授权项 | 取消勾选,保存后看回显 | 只点不保存,刷新后仍是允许 |
第 2 行的坑最常见。只写厂商名,看起来拦住了,实际对方改 UA 后缀就能过。要按 UA 里的固定片段写,比如带版本号和 URL 的那一段。第 3 行也容易错:跳转到首页看着像拦住了,日志里仍是 200,抓取量一点没降。
表格里没列但同样要填的,是排除清单。站内搜索页、会员中心、后台路径 3 类页面本来就该拦,趁这次一起加进 robots.txt。这 3 类页面被反复抓,会摊薄整站的抓取配额,我核过一个 2000 页的站,其中 400 多条抓取落在搜索页上。
现象一,保存 robots.txt 后网站打不开。原因是文件里出现中文标点或全角冒号。处理办法是把文件下载到本地,用纯文本编辑器改,冒号与斜杠都用半角,再上传覆盖。
现象二,面板里加了 UA 屏蔽,日志仍有请求。原因是规则写在面板层,请求走 CDN 时在边缘节点就被放过。处理办法是到 CDN 控制台同步加 1 条规则,两层都要有。
现象三,关掉生成模块后新文章仍带摘要。原因是模板里有默认调用,或另一个插件在做同样的事。处理办法是停用同名功能的插件,只留 1 个,停完清缓存再看。
现象四,AI 平台仍能引用旧页面。原因是对方缓存了快照,站内改动要等重新抓取。处理办法是提交 1 次页面更新,或改 1 处正文触发重抓,急的可申请快照更新。
现象五,排名掉了。原因是把搜索蜘蛛一起拦了。处理办法是回滚 robots.txt,只保留针对 AI 爬虫的段,搜索类 UA 一律放行,改完 3 天内盯 1 次抓取频次。
回滚之后别急着再改。抓取频次恢复要 5 到 10 天,这期间看到的数据都不作准。要确认恢复情况,看每天抓取的页面数是否回到改动前的水平,差 3 成以内视为正常波动。
关掉生成模块本身不影响排名,影响排名的是抓取与内容质量。真正会掉的是把搜索蜘蛛一起拦掉的情况,24 小时内就能看到抓取量归零。操作前把原有 robots.txt 备份 1 份,出问题 1 分钟能回滚。
看目的。只是不想让 AI 生成摘要、怕内容被改写,关生成模块与授权项就够,抓取可以留着。完全不想被任何模型读到,才动服务器层。全关的代价是品牌在 AI 答案里彻底消失,这个后果要提前想清楚。
站内改动立即生效,清缓存后 5 分钟内全站可见。爬虫规则 1 到 3 天内生效,取决于对方重访频率。AI 平台的引用更新最慢,实测 1 到 4 周,取决于快照更新周期。3 个时间尺度不一样,别用第一天的结果判断全部。
关功能这件事,顺序比力度重要。先关生成、再清存量、最后配爬虫规则,3 步走完再验证。反过来先拦爬虫,站内还在生成,等于把问题内容锁在站里又丢了抓取。改之前备份 robots.txt 与面板配置各 1 份,留 1 条回滚路径,出问题 1 分钟能还原。本文信息核对时间:2026-11。