爬虫群是一个规则对应一个爬虫吗？

wangyong

爬虫群是一个规则对应一个爬虫吗？

wangyong · 发表于 2015-12-18 20:45:47

不是，只要开着爬虫群，并且规则设置了调度后，只要规则有线索爬虫群中没有工作的爬虫就会执行抓取。
如果想要爬虫群中的爬虫只抓取特定的规则，需要手工启动爬虫群的配置文件crontab。参看：手工配置爬虫群

共 1 个关于本帖的回复最后回复于 2015-12-18 20:45

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页