robots.txt 怎么写才不会挡住 AI 爬虫,要放开哪几行

1小时前发布

站点上线后 AI 爬虫一直不来,怀疑是 robots.txt 写错了,但不确定哪些写法会误挡。
4条回答
hangyeguancha
1楼-- · 1小时前

robots.txt 是放在站点根目录的纯文本文件,爬虫进来先读它。写错一行,整站可能被挡住 1 个月。

常见的挡法是 Disallow: / 这一行。不少建站模板默认带着它,上线后忘了删,所有爬虫都被拒在门外,AI 平台的抓取程序也在其中。

AI 爬虫的名字各有不同,想放开就把它们单独列成一组,每组的 User-agent 写 1 行,下一行跟 Allow: /。

格式上只有 3 条规则要记:User-agent 起头、Allow 或 Disallow 跟路径、每组之间空 1 行。路径区分大小写,写错字母等于没写。

改完在浏览器地址栏输域名加 /robots.txt,能直接看到文件内容就说明生效了,缓存要等 1 到 24 小时。

ziliaoheji
2楼-- · 1小时前

要给 AI 爬虫放开,按下面 5 步改。

1)找到站点根目录的 robots.txt,没有就新建 1 个,文件名全小写;2)删掉全局 Disallow: / (如果存在);3)给每个要放开的爬虫写 1 组:User-agent 加名字,下一行 Allow: / ;

4)单独挡住后台目录,写 Disallow: /admin/ 和 Disallow: /data/ ;5)保存后访问域名加 /robots.txt 核对,确认返回 200 而不是 404。

常见的 AI 爬虫名字有 5 个左右,各家命名不同,查对方官方文档里的说明,别凭印象填。

改完隔 3 天看服务器日志,搜这些名字,能看到请求记录就说明放开了。

bikengtixing
3楼-- · 1小时前

robots.txt 容易踩的 5 个坑。

一是路径写成绝对地址。Allow 后面只能写以斜杠开头的路径,写完整网址会让整条规则失效。

二是用 Disallow 挡单个文件却漏了目录。挡 /a.html 挡不住 /a/ 下面的内容,两者要分开写。

三是把 Sitemap 那行当必需项。它是给爬虫的提示,写错不影响抓取,也帮不上忙。

四是改完马上删缓存。文件在 CDN 上,缓存 24 小时才更新,改完当天看不到变化属于正常。

五是用这个文件挡隐私内容。它本身是公开的,写进去的路径等于告诉别人哪里有东西,后台地址用登录权限挡,改 1 行配置就够。

shiyongjilu
4楼-- · 1小时前

我们站点去年有 2 个月没被 AI 爬虫抓,查下来就是 robots.txt 的问题。

建站时用的模板自带一份文件,里面写着 Disallow: / ,上线时没人注意。日志里能看到爬虫来过,每次只抓 1 个文件就走。

发现的过程比较偶然。我在日志里搜爬虫名字,返回的全是 /robots.txt 这 1 行,其他页面 0 条。

改完当天看不出变化,第 3 天开始有正文页的请求,第 2 周抓取量回到每天 200 多次。

这件事的成本是 1 行字,代价是 60 天的空白期。现在我给每个新站上线前都加 1 步检查,先看这个文件再提交搜索引擎。