爬虫群 是一个规则对应一个爬虫吗?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-12-18 20:45

沙发
wangyong 版主 发表于 2015-12-18 20:45:47 | 只看该作者
不是,只要开着爬虫群,并且规则设置了调度后,只要规则有线索爬虫群中没有工作的爬虫就会执行抓取。
如果想要爬虫群中的爬虫只抓取特定的规则,需要手工启动爬虫群的配置文件crontab。参看:手工配置爬虫群

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-19 09:15