一个规则对应的线索太多

whisper218

一个规则对应的线索太多，怎么样才能并发采集，这样速度快些

HJLing · 发表于 2016-9-28 11:14:51

在高级教程学习爬虫群

Fuller · 发表于 2016-9-28 11:22:02

在教程首页展开目录，高级教程第三章就是爬虫群：http://www.gooseeker.com/tuto/tutorial.html

注意，当并行的爬虫窗口开多了，被封锁的风险也大了，要注意观察爬虫的运行状态，如果很快被封锁了，就要调整爬虫窗口数量。可以多运行几台电脑，让每一台少开几个窗口

共 2 个关于本帖的回复最后回复于 2016-9-28 11:22

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页