说来好笑,做站也快两年时间了。一直不清楚百度搜索资源平台显示的百度蜘蛛抓取时间是越长越好,还是越短越好。今天又想起了这个问题,于是动手搜索了一番。得到的答案就是:Baiduspider每次抓取耗时越短越好!
经过一番搜索,找到了百度的官方解答,百度工程师的答案就是:百度蜘蛛的抓取耗时在1秒内最好,多的话4至5秒也能够接受。如果时间再长,恐怕蜘蛛会过段时间在来了。如果你的站点经常发生这种情况,对站点的抓取是非常不利的。
在深圳Baiduspider3.0主题的高端沙龙中,百度的高级工程师也有这样一页PPT,其中提到历史抓取效果好和服务器稳定的站点,Spider会优先抓取处理。
百度蜘蛛优先抓取的侧重点:
网站更新频率:经常定时更新高价值的站点,优先抓取。
受欢迎程度:用户体验好的站点,优先抓取。
优质入口:优质站点follow出站的链接,优先抓取。
历史的抓取效果越好,越优先处理。
服务器稳定,优先抓取。
安全记录优异站点,优先抓取。
官方原文:→https://ziyuan.baidu.com/college/articleinfo?id=868