在DS打数机里面单搜，然后又调度了爬虫群，然后调度的两个爬虫群都不动，只有单搜的界面在爬，这是怎么回事，而且爬虫速度好慢

在DS打数机里面单搜，然后又调度了爬虫群，然后调度的两个爬虫群都不动，只有单搜的界面在爬，这是怎么回事，而且爬虫速度好慢
现在在运行一级主题名（一级模拟点击“完整介绍”到二级页面-同一网址采集数据）

样本网址：http://www.haodf.com/doctor/DE4r08xQdKSLBZmGIpMEBi1InoYl.htm


一级主题名：b高血压医生列表_个人_信息主页
二级主题名：b高血压医生列表_个人_信息主页二级                       

爬虫群还是调度不了吗？要在会员中心的规则管理那里设置调度参数

是在会员中心设置的，反应比较慢，可以了，谢谢

whusim 发表于 2017-10-3 10:03
是在会员中心设置的，反应比较慢，可以了，谢谢

会员中心调度需要排队，现在用户比较多，排队有些慢，最近正在修改，期望排队时间不要超过半分钟

设置的爬虫群模式，一批抓取的线索数不要太少，比如，50个以上，这样会花费比较长的时间。如果一批花费时间太短，排队还没有轮到几次，这一批就抓取完了，那么能轮到调度的爬虫窗口就会很少