11#
wjzeng 初级会员 发表于 2016-10-14 09:57:14 | 只看该作者
Fuller 发表于 2016-10-14 09:12
有这个问题?我们测试一下。我先确认一下你的设置,是不是这样的:
1)在会员中心设置主题的调度参数,把 ...

1)是的;
2)默认的4个爬虫任务窗口;
举报 使用道具
12#
wjzeng 初级会员 发表于 2016-10-14 10:04:41 | 只看该作者
Fuller 发表于 2016-10-14 09:12
有这个问题?我们测试一下。我先确认一下你的设置,是不是这样的:
1)在会员中心设置主题的调度参数,把 ...

不知道是不是跟我的规则设置有关系,换了一个规则后就正常了......
举报 使用道具
13#
wjzeng 初级会员 发表于 2016-10-14 10:05:01 | 只看该作者
shenzhenwan10 发表于 2016-10-14 09:24
我刚才测试了一下,没发现异常
你说的“设置成4的时候可以运行,设置成2的时候不可以”,具体是什么现象 ...

不知道是不是跟我的规则设置有关系,刚刚换了一个规则后就正常了......
举报 使用道具
14#
Fuller 管理员 发表于 2016-10-14 10:12:04 | 只看该作者
wjzeng 发表于 2016-10-14 10:05
不知道是不是跟我的规则设置有关系,刚刚换了一个规则后就正常了......

如果只有一条线索,比如,翻页抓取,无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另外,爬虫调度是要排队的,排队一般要花45秒以上,如果在会员中心设置调度参数的时候,“一轮线索数量”设置的比较小,可能在另一个任务排队期间就做完了一批,结果下个任务还会用这个窗口
举报 使用道具
15#
wjzeng 初级会员 发表于 2016-10-14 12:53:53 | 只看该作者
Fuller 发表于 2016-10-14 10:12
如果只有一条线索,比如,翻页抓取,无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另 ...

好的,非常感谢
举报 使用道具
16#
wjzeng 初级会员 发表于 2016-10-14 23:15:24 | 只看该作者
Fuller 发表于 2016-10-14 10:12
如果只有一条线索,比如,翻页抓取,无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另 ...

群主,我今天用爬虫群跑了一晚上的规则“携程户外3”,明明一个网页上应该有15个旅游项目的数据(包括:名称、价格、出发地点、时间),做规则时测试也好好的,可是用爬虫群抓取数据时,每条线索都只能抓取前面1到2条旅游项目的数据,为什么呢,您能不能帮我看看?
举报 使用道具
17#
Fuller 管理员 发表于 2016-10-15 00:00:17 | 只看该作者
wjzeng 发表于 2016-10-14 23:15
群主,我今天用爬虫群跑了一晚上的规则“携程户外3”,明明一个网页上应该有15个旅游项目的数据(包括: ...

我加载看了,应该是你没有把DS打数机的滚屏打开,用菜单 配置-〉滚屏参数,把滚屏次数设置成>0的数字。

MS测试可以,但是DS打数机运行不行的原因可以看这里:http://www.gooseeker.com/doc/thread-3431-1-6.html
举报 使用道具
18#
Fuller 管理员 发表于 2016-10-15 00:04:11 | 只看该作者
wjzeng 发表于 2016-10-14 23:15
群主,我今天用爬虫群跑了一晚上的规则“携程户外3”,明明一个网页上应该有15个旅游项目的数据(包括: ...

你用爬虫群抓取的话,要在会员中心设置调度参数的时候设置滚屏次数,展开“高级设置”,里面有“滚屏次数”设置项,设置成>0的数字。
另外,不要选择“定时器触发”
举报 使用道具
19#
wjzeng 初级会员 发表于 2016-10-15 08:23:11 | 只看该作者
Fuller 发表于 2016-10-15 00:04
你用爬虫群抓取的话,要在会员中心设置调度参数的时候设置滚屏次数,展开“高级设置”,里面有“滚屏次数 ...

正解,现已抓取成功,谢谢群主~~
举报 使用道具
20#
Alexisheee 初级会员 发表于 2016-11-26 22:32:59 | 只看该作者
爬虫群 同时抓取 线索会有重复的嘛?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-24 07:28