快捷导航
举报 使用道具
| 回复

共 22 个关于本帖的回复 最后回复于 2017-10-29 11:29

qq16359 新手上路 发表于 2016-5-4 01:33:10 | 显示全部楼层
好像很厉害的样子喔
举报 使用道具
ethree 新手上路 发表于 2016-7-1 11:11:11 | 显示全部楼层

好像很厉害的样子喔
举报 使用道具
markjl 新手上路 发表于 2016-10-8 17:28:39 | 显示全部楼层
是用什么语言写的?python 么?
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:07:31 | 显示全部楼层
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行......
举报 使用道具
Fuller 管理员 发表于 2016-10-14 09:12:00 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行 ...

有这个问题?我们测试一下。我先确认一下你的设置,是不是这样的:
1)在会员中心设置主题的调度参数,把最大运行爬虫数量设置为2
2)在DS打数机上配置爬虫群
DS打数机上爬虫群任务窗口设置了多少个?要2或者大于2
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:17:19 | 显示全部楼层
最大允许运行爬虫数必须设置成大于等于4吗?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-10-14 09:24:32 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:07
为什么最大允许运行爬虫数设置成4的时候可以进行爬虫,设置成2的时候就不可以了呢?单开两个爬虫也不能运行 ...

我刚才测试了一下,没发现异常
你说的“设置成4的时候可以运行,设置成2的时候不可以”,具体是什么现象?
是爬虫没有进行爬取?还是只有1个窗口有爬取?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-10-14 09:29:37 | 显示全部楼层
wjzeng 发表于 2016-10-14 09:17
最大允许运行爬虫数必须设置成大于等于4吗?

最大允许爬虫数是1到20的整数
举报 使用道具
wjzeng 初级会员 发表于 2016-10-14 09:55:47 | 显示全部楼层
shenzhenwan10 发表于 2016-10-14 09:24
我刚才测试了一下,没发现异常
你说的“设置成4的时候可以运行,设置成2的时候不可以”,具体是什么现象 ...

最大允许运行爬虫数设置成1、2、3的时候爬虫没有进行爬取(所有爬虫窗口都是),设置成大于4时才可以
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-11-22 05:21