怎么调整数据DIY模式的采集速度？

mamaise

内容如题。是不是只能调整自建规则的采集速度。另外数据DIY模式，我启动了10个爬虫窗口，但只有2个工作。是不是也只有自建规则能调整？

gz51837844 · 发表于 2017-7-30 12:40:41

自己原创的规则，或者是下载的规则，可以自由调整采集速度和并行爬虫数
数据DIY和微博工具的是设置好的一套公共参数，综合考虑了速度，应对反扒等因素，是供所有人使用的，使用者不能自己做调整

mamaise · 发表于 2017-7-30 13:08:11

gz51837844 发表于 2017-7-30 12:40
自己原创的规则，或者是下载的规则，可以自由调整采集速度和并行爬虫数
数据DIY和微博工具的是设置好的一套 ...

所以说DIY的最大并行爬虫数只有2吗？

gz51837844 · 发表于 2017-7-30 16:40:51

mamaise 发表于 2017-7-30 13:08
所以说DIY的最大并行爬虫数只有2吗？

不同网站设置不一样，一般是2到4个

共 3 个关于本帖的回复最后回复于 2017-7-30 16:40

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页