站点地图怎么配才对 AI 抓取有用，多久更新一次

站点地图做错的地方，检查一遍就能改。

1）lastmod 全站写同一天，每更新一次全站时间都变。抓取方会认为你在刷时间，这份文件的可信度直接掉下来。

2）文件里装着已删页面和 404 地址。无效地址比例超过 10%，整份地图会被降权。

3）单文件超过 5 万条还硬塞在一起。规范要求拆分，再用索引文件串起来。

4）只提交从不更新。新页面 3 周后才出现在里面，这 3 周等于没做。

5）把后台、站内搜索结果页、标签页一起塞进去。抓取预算全耗在这些没有价值的地址上。

这 5 条里第 1 条动的是整份文件的可信度，影响面比单条地址大得多。

我们的站点地图分 3 段：文章、问答、栏目，各自一个文件，加 1 个索引页串起来。

这么分的原因很实际。问答更新快，文章更新慢，混在一起每次都要全量重写，拆开之后只动变化的那一段。

更新频率上，每天内容发布完成后跑 1 次生成，lastmod 用页面的真实修改时间，不写当前时间。

有一段时间偷懒写成当天，2 周后抓取频率从每天 1 次降到 3 天 1 次，改回真实时间后第 10 天才恢复。

索引文件基本不动，只更新子文件。抓取方读 1 次索引就能拿到全部地址，不用反复扫同一份大文件。

站点地图是辅助入口，离收录还有距离，这一点先说明白。

百度会读站点地图，提交后按里面的地址排抓取队列，新站尤其依赖这条路，因为外部链接还没有积累起来。提交一次之后，队列里的地址会陆续被抓，不必每天手动推。

国外几家 AI 爬虫对站点地图的依赖小很多。它们更常顺着外链和站内链接走，有的只看首页和几个栏目页，站点地图提交了也未必去读，这一点在日志里能看出来。

所以这件事做完，收益主要落在百度这条线上。要让 AI 爬虫多来，站内链接结构和外部引用更管用。

两件事不冲突，用的是同一份地址清单。先确认清单里的地址都能打开、没有跳转链，再谈提交频率和更新时间。

进站有两条路：站点地图和站内链接，作用不一样。

站点地图是给抓取方看的清单，1 次能交出几百个地址，效率高，但只在对方愿意读的时候有效。

站内链接是从一个页面爬到另一个页面，速度慢，但它决定页面在站里的位置和重要性，任何爬虫都认这套。

新站前 3 个月主要靠站点地图，因为还没有外部链接。6 个月之后，站内结构和外链的作用会超过地图。

只做地图不做内链的站，常见症状是页面被抓了但不收录，因为它在站里是个孤岛，没有任何页面指向它。

两条路都要走。地图解决的是「有没有被知道」，内链解决的是「值不值得收」。