1小时前发布
robots.txt 是放在站点根目录的纯文本文件,爬虫进来先读它。写错一行,整站可能被挡住 1 个月。
常见的挡法是 Disallow: / 这一行。不少建站模板默认带着它,上线后忘了删,所有爬虫都被拒在门外,AI 平台的抓取程序也在其中。
AI 爬虫的名字各有不同,想放开就把它们单独列成一组,每组的 User-agent 写 1 行,下一行跟 Allow: /。
格式上只有 3 条规则要记:User-agent 起头、Allow 或 Disallow 跟路径、每组之间空 1 行。路径区分大小写,写错字母等于没写。
改完在浏览器地址栏输域名加 /robots.txt,能直接看到文件内容就说明生效了,缓存要等 1 到 24 小时。
要给 AI 爬虫放开,按下面 5 步改。
1)找到站点根目录的 robots.txt,没有就新建 1 个,文件名全小写;2)删掉全局 Disallow: / (如果存在);3)给每个要放开的爬虫写 1 组:User-agent 加名字,下一行 Allow: / ;
4)单独挡住后台目录,写 Disallow: /admin/ 和 Disallow: /data/ ;5)保存后访问域名加 /robots.txt 核对,确认返回 200 而不是 404。
常见的 AI 爬虫名字有 5 个左右,各家命名不同,查对方官方文档里的说明,别凭印象填。
改完隔 3 天看服务器日志,搜这些名字,能看到请求记录就说明放开了。
robots.txt 容易踩的 5 个坑。
一是路径写成绝对地址。Allow 后面只能写以斜杠开头的路径,写完整网址会让整条规则失效。
二是用 Disallow 挡单个文件却漏了目录。挡 /a.html 挡不住 /a/ 下面的内容,两者要分开写。
三是把 Sitemap 那行当必需项。它是给爬虫的提示,写错不影响抓取,也帮不上忙。
四是改完马上删缓存。文件在 CDN 上,缓存 24 小时才更新,改完当天看不到变化属于正常。
五是用这个文件挡隐私内容。它本身是公开的,写进去的路径等于告诉别人哪里有东西,后台地址用登录权限挡,改 1 行配置就够。
我们站点去年有 2 个月没被 AI 爬虫抓,查下来就是 robots.txt 的问题。
建站时用的模板自带一份文件,里面写着 Disallow: / ,上线时没人注意。日志里能看到爬虫来过,每次只抓 1 个文件就走。
发现的过程比较偶然。我在日志里搜爬虫名字,返回的全是 /robots.txt 这 1 行,其他页面 0 条。
改完当天看不出变化,第 3 天开始有正文页的请求,第 2 周抓取量回到每天 200 多次。
这件事的成本是 1 行字,代价是 60 天的空白期。现在我给每个新站上线前都加 1 步检查,先看这个文件再提交搜索引擎。
最多设置5个标签!
robots.txt 是放在站点根目录的纯文本文件,爬虫进来先读它。写错一行,整站可能被挡住 1 个月。
常见的挡法是 Disallow: / 这一行。不少建站模板默认带着它,上线后忘了删,所有爬虫都被拒在门外,AI 平台的抓取程序也在其中。
AI 爬虫的名字各有不同,想放开就把它们单独列成一组,每组的 User-agent 写 1 行,下一行跟 Allow: /。
格式上只有 3 条规则要记:User-agent 起头、Allow 或 Disallow 跟路径、每组之间空 1 行。路径区分大小写,写错字母等于没写。
改完在浏览器地址栏输域名加 /robots.txt,能直接看到文件内容就说明生效了,缓存要等 1 到 24 小时。
要给 AI 爬虫放开,按下面 5 步改。
1)找到站点根目录的 robots.txt,没有就新建 1 个,文件名全小写;2)删掉全局 Disallow: / (如果存在);3)给每个要放开的爬虫写 1 组:User-agent 加名字,下一行 Allow: / ;
4)单独挡住后台目录,写 Disallow: /admin/ 和 Disallow: /data/ ;5)保存后访问域名加 /robots.txt 核对,确认返回 200 而不是 404。
常见的 AI 爬虫名字有 5 个左右,各家命名不同,查对方官方文档里的说明,别凭印象填。
改完隔 3 天看服务器日志,搜这些名字,能看到请求记录就说明放开了。
robots.txt 容易踩的 5 个坑。
一是路径写成绝对地址。Allow 后面只能写以斜杠开头的路径,写完整网址会让整条规则失效。
二是用 Disallow 挡单个文件却漏了目录。挡 /a.html 挡不住 /a/ 下面的内容,两者要分开写。
三是把 Sitemap 那行当必需项。它是给爬虫的提示,写错不影响抓取,也帮不上忙。
四是改完马上删缓存。文件在 CDN 上,缓存 24 小时才更新,改完当天看不到变化属于正常。
五是用这个文件挡隐私内容。它本身是公开的,写进去的路径等于告诉别人哪里有东西,后台地址用登录权限挡,改 1 行配置就够。
我们站点去年有 2 个月没被 AI 爬虫抓,查下来就是 robots.txt 的问题。
建站时用的模板自带一份文件,里面写着 Disallow: / ,上线时没人注意。日志里能看到爬虫来过,每次只抓 1 个文件就走。
发现的过程比较偶然。我在日志里搜爬虫名字,返回的全是 /robots.txt 这 1 行,其他页面 0 条。
改完当天看不出变化,第 3 天开始有正文页的请求,第 2 周抓取量回到每天 200 多次。
这件事的成本是 1 行字,代价是 60 天的空白期。现在我给每个新站上线前都加 1 步检查,先看这个文件再提交搜索引擎。
一周热门 更多>