服务器是如何给爬虫派发任务的？

Fuller · 发表于 2017-9-29 11:37:34

fqzlala 发表于 2017-9-29 11:30
我现在是4个干活，4个不干活。感觉最近集搜客改了服务器爬虫调用规则了，估计是优化了吧。
我2个月前，用 ...

你现在了新版爬虫了吗？目前最新是8.3.0，确实改了调度，调度更快了。截止今天，只是把爬虫软件升级到了8.3.0，服务器的调度算法并没有变。正常的效果是：爬虫程序会更快地去取任务，而服务器产生调度任务的周期还没变。按理说分配到的任务不会变少。我查查你所在的调度库是不是负载很重

Fuller · 发表于 2017-9-29 12:13:38

今天服务器负载有点大，任务调度确实变慢了3倍多，现在把负载做了调整，应该好了很多

fqzlala · 发表于 2017-9-29 13:02:20

Fuller 发表于 2017-9-29 12:13
今天服务器负载有点大，任务调度确实变慢了3倍多，现在把负载做了调整，应该好了很多 ...

对，现在是快多了，我确实也使用了，最新版本

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页