您好!想向您请教一个问题。我下载了无讼案例规则,并向无讼案例第一级里面添加了7条线索,同时我开了7个爬虫群线程,但只有一个运行,且不能完整的抓取无讼案例第一级的所有内容,抓取一部分后就会转到抓取下一条线索。请问,是我操作不当还是规则本身出现了问题?



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-11-9 18:35

沙发
xandy 论坛元老 发表于 2016-11-9 17:01:32 | 只看该作者
爬虫群要进行配置,比如:最大允许运行的爬虫数要进行设置等如何配置参看:《如何运行爬虫群
举报 使用道具
板凳
正版额外 初级会员 发表于 2016-11-9 17:02:27 | 只看该作者
xandy 发表于 2016-11-9 17:01
爬虫群要进行配置,比如:最大允许运行的爬虫数要进行设置等如何配置参看:《如何运行爬虫群》
...

重新设置以后,重启了打数机,但是7个爬虫线程仍然只激活了一个,为何?

举报 使用道具
地板
xandy 论坛元老 发表于 2016-11-9 17:03:46 | 只看该作者
正版额外 发表于 2016-11-9 17:02
重新设置以后,重启了打数机,但是7个爬虫线程仍然只激活了一个,为何?

...

爬虫群会结合网速和性能自动随机分配爬虫进行抓取
举报 使用道具
5#
Fuller 管理员 发表于 2016-11-9 18:35:49 | 只看该作者
xandy 发表于 2016-11-9 17:03
爬虫群会结合网速和性能自动随机分配爬虫进行抓取

在会员中心-》规则管理中,调度参数有这样一项“一轮线索数量”,你设置了多少?是不是很大?如果很大,有一个窗口在运行就把总配额用完了。

请反馈你的实验结果,我们好进行改进
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 13:03