1小时前发布
抓取、索引、引用是 3 个阶段,时间差得很远。
抓取来得快。更新勤的站,新页面 1 到 3 天出现在日志里;月更的站等 2 周也正常。差别在站点被访问的频次。
索引慢一些,通常 1 到 3 周。抓到只说明读了一遍,进可检索的库要单独算,这两件事经常被混成一件。
引用拖得久,要等有人问到那个问题,还要模型判断你的页面比已有来源更合适。这一步几天到几个月都见过,取决于有多少人问这个问题。
分开看才不会误判。日志里出现爬虫就以为成了,实际后面还有 2 步要走,中间隔着 3 周左右的空档。
我们站 10 月做过 1 轮测试,同一天发了 6 篇,看各自被抓的时间。
挂在首页的那 2 篇,第 2 天就被抓了。没挂首页、只有栏目页入口的 3 篇,第 4 天到第 6 天陆续被抓。
剩下 1 篇放在草稿箱忘了发,10 天后才上线,抓取记录是上线后第 3 天。
这轮测下来,入口位置的影响比内容质量大。同一批稿子水平差不多,抓取时间差了 4 天,差别就在有没有首页入口。
后来我们固定 1 个做法:新页面发布后在首页相关位置挂 3 天,再撤下来。首抓时间稳定在 2 天以内。
查抓取按 5 步做,20 分钟能查完 1 个页面。
1)打开当天日志文件,按路径搜新页面的 URL;2)看命中的行里有几个不同的 User-agent;3)记下首次访问时间,跟发布日期相减,得到首抓延迟;
4)确认状态码是 200;5)把结果记进表格,1 行 1 个页面,字段写发布日期、首抓日期、爬虫名、状态码。
日志里要看 3 个字段:访问时间、请求路径、User-agent。User-agent 那一段写着爬虫名字,对上名字才算抓取。
表格攒到 20 行就能看出规律。平均首抓 3 天以内的,说明站点被抓得勤;超过 14 天的,要查内链和 sitemap。
最多设置5个标签!
抓取、索引、引用是 3 个阶段,时间差得很远。
抓取来得快。更新勤的站,新页面 1 到 3 天出现在日志里;月更的站等 2 周也正常。差别在站点被访问的频次。
索引慢一些,通常 1 到 3 周。抓到只说明读了一遍,进可检索的库要单独算,这两件事经常被混成一件。
引用拖得久,要等有人问到那个问题,还要模型判断你的页面比已有来源更合适。这一步几天到几个月都见过,取决于有多少人问这个问题。
分开看才不会误判。日志里出现爬虫就以为成了,实际后面还有 2 步要走,中间隔着 3 周左右的空档。
我们站 10 月做过 1 轮测试,同一天发了 6 篇,看各自被抓的时间。
挂在首页的那 2 篇,第 2 天就被抓了。没挂首页、只有栏目页入口的 3 篇,第 4 天到第 6 天陆续被抓。
剩下 1 篇放在草稿箱忘了发,10 天后才上线,抓取记录是上线后第 3 天。
这轮测下来,入口位置的影响比内容质量大。同一批稿子水平差不多,抓取时间差了 4 天,差别就在有没有首页入口。
后来我们固定 1 个做法:新页面发布后在首页相关位置挂 3 天,再撤下来。首抓时间稳定在 2 天以内。
查抓取按 5 步做,20 分钟能查完 1 个页面。
1)打开当天日志文件,按路径搜新页面的 URL;2)看命中的行里有几个不同的 User-agent;3)记下首次访问时间,跟发布日期相减,得到首抓延迟;
4)确认状态码是 200;5)把结果记进表格,1 行 1 个页面,字段写发布日期、首抓日期、爬虫名、状态码。
日志里要看 3 个字段:访问时间、请求路径、User-agent。User-agent 那一段写着爬虫名字,对上名字才算抓取。
表格攒到 20 行就能看出规律。平均首抓 3 天以内的,说明站点被抓得勤;超过 14 天的,要查内链和 sitemap。
一周热门 更多>