服务器是如何给爬虫派发任务的？

我现在3个规则，每个规则中，线索数都大于1000条。每个规则配置爬虫数量都是6个，现在2个主机，一台主机开启了8个爬虫，只有3-4个干活，剩下的爬虫空闲(等待分配采集任务)，另一个主机开了16个爬虫，就1个爬虫干活，有时候多点，但总有空闲爬虫。

服务器是如何给爬虫派发任务的，怎么总有空闲爬虫。

如果你有多台电脑，那么给每台电脑设置不同的爬虫名字，用DS打数机菜单：文件-》爬虫名字。

如果所有电脑的爬虫名字都一样，而且又在同一个路由器上，就把他们都当成同一台爬虫电脑了。

Fuller 发表于 2017-9-29 09:55
如果你有多台电脑，那么给每台电脑设置不同的爬虫名字，用DS打数机菜单：文件-》爬虫名字。

如果所有电脑 ...

每个规则配置了6个爬虫，是在会员中心的规则管理那里配置的吗？这个表示一台计算机只能给6个爬虫窗口分配任务。多台电脑的话，要给每台电脑起不同的爬虫名字。调度中心主要是根据爬虫名字进行判断

Fuller 发表于 2017-9-29 09:56
每个规则配置了6个爬虫，是在会员中心的规则管理那里配置的吗？这个表示一台计算机只能给6个爬虫窗口分配 ...

是在会员中心配置的6个爬虫，我的2台电脑，是不同的猫，不同的网，应该不会出现你说的同路由情况。

我记得以前是，一个规则在一台计算机上配置6个爬虫，也就是这个规则在这台计算机上，最多有6个爬虫为这个规则爬数据。

Fuller 发表于 2017-9-29 09:56
每个规则配置了6个爬虫，是在会员中心的规则管理那里配置的吗？这个表示一台计算机只能给6个爬虫窗口分配 ...

我已经把规则名更改了，效果还是一样

1，是不是设置了最大爬虫窗口数量？在会员中心的调度设置中查看
2，在会员中心-》规则管理中，调度参数有这样一项“一轮线索数量”，你设置了多少？是不是很大？如果很大，有一个窗口在运行就把总配额用完了。

umsung 发表于 2017-9-29 10:41
1，是不是设置了最大爬虫窗口数量？在会员中心的调度设置中查看
2，在会员中心-》规则管理中，调度参数有这 ...

就是你截图中的，设置爬虫窗口数量。
一轮线索数量是默认的，没有更改过。

umsung 发表于 2017-9-29 10:41
1，是不是设置了最大爬虫窗口数量？在会员中心的调度设置中查看
2，在会员中心-》规则管理中，调度参数有这 ...

我的设置

1，默认的一轮线索是多大？
2，给不同的电脑设置不同的爬虫名字，而不是规则名，用DS打数机菜单：文件-》爬虫名字。修改之后关闭重新启动。

fqzlala 发表于 2017-9-29 10:44
就是你截图中的，设置爬虫窗口数量。
一轮线索数量是默认的，没有更改过。

你把一轮线索数量调大一些，比如，100。这个数字也不能太小，如果太小，一轮很快就抓取完了，那时，会员中心还没有调度下一轮呢。会员中心平均30秒调度一次。你这只有一个规则，被一个窗口把任务拿去以后，还没等调度下一次，前面分配到任务的窗口可能又来请求任务了。

所以，你把一轮数量调大试试。楼上说的一轮数量有限制，目前还远远达不到那个限制