爬虫群还是不启动?只能启动一个


其他都是这样的

其他电脑连一个都启动不来,我的电脑最好情况是启动2个,大家有遇到这个问题吗?




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-1-13 16:57

沙发
xandy 论坛元老 发表于 2016-1-13 16:57:23 | 只看该作者
为了防止封锁,爬虫群有流量控制,一次启动两个。可以配置本地调度,也可以混合配置,自己编辑crontab文件,本地调度的话要把所有必选参数都写上,在高级教程里面有说明。如果想多个爬虫抓一个规则,可以编个混合crontab程序,指定爬虫抓规则,参考crontab教程http://www.gooseeker.com/doc/article-112-1.html,注意,如果配置过爬虫群,要把自己写的和爬虫群的合并放在一个crontab里。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-19 14:21