主题名:天涯论坛二级评论列表爬取
为了加快爬取速度,我运行了爬虫群,爬虫窗口设置了2个,自启动,对于调度规则的设置,
主要参数设置:一轮停歇时间设置为2秒,线索间等待最短时间40秒,线索间等待最长时间60秒,延迟抓取时间15秒,滚屏次数为2。运行了速度感觉有些慢,我看默认的一些参数设置如:一轮停歇时间设置为2秒,线索间等待最短时间0秒,线索间等待最长时间1秒,延迟抓取时间5秒,滚屏次数为0,是不是默认的效果会更好,速度更快。
求大神根据以往的爬取经验,指点一下,我的参数设置是否合理,有改进的空间么?调度参数设置图片如下。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
|
|
|
|
共 1 个关于本帖的回复 最后回复于 2016-6-24 22:03