|
放慢采集速度的方法总结,请参看《采集速度太快了,我想调慢点》的“地板”楼层。摘录如下:
影响采集速度的参数有:
1,线索间等待最短时间 和 线索间等待最长时间 的组合,如 @Fuller 所说
2,最大允许运行爬虫数量:这是运行这个主题的爬虫数量,也就是并行运行的数量,1个最慢
3,延迟抓取时间、一轮线索数量,这个两个组合在一起,让一轮线索数量变小,延迟抓取时间变长,那么每轮调度的周期变长了,每一轮抓的也少了,就会大大变慢
4,超时等待时间:只对失败线索有效,如果这个时间很长,失败前等待时间就长,但是,对于成功抓取的,不会达到这个时间的
5,滚屏次数、滚屏速度,这个两个组合在一起,滚屏速度设置成负数,滚屏次数提高,那么滚得很慢,都是要额外滚很多屏,也会大大变慢
|
|
共 2 个关于本帖的回复 最后回复于 2016-12-11 11:56