爬虫群还是不启动?只能启动一个


其他都是这样的

其他电脑连一个都启动不来,我的电脑最好情况是启动2个,大家有遇到这个问题吗?




举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-13 16:57

沙发
xandy 论坛元老 发表于 2016-1-13 16:57:23 | 只看该作者
为了防止封锁,爬虫群有流量控制,一次启动两个。可以配置本地调度,也可以混合配置,自己编辑crontab文件,本地调度的话要把所有必选参数都写上,在高级教程里面有说明。如果想多个爬虫抓一个规则,可以编个混合crontab程序,指定爬虫抓规则,参考crontab教程http://www.gooseeker.com/doc/article-112-1.html,注意,如果配置过爬虫群,要把自己写的和爬虫群的合并放在一个crontab里。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 00:46