集搜客爬虫群大批量采集数据的场景、原理和价值

Fuller 发表于 2016-10-14 09:12
有这个问题？我们测试一下。我先确认一下你的设置，是不是这样的：
1）在会员中心设置主题的调度参数，把 ...

1）是的；
2）默认的4个爬虫任务窗口；

Fuller 发表于 2016-10-14 09:12
有这个问题？我们测试一下。我先确认一下你的设置，是不是这样的：
1）在会员中心设置主题的调度参数，把 ...

不知道是不是跟我的规则设置有关系，换了一个规则后就正常了......

shenzhenwan10 发表于 2016-10-14 09:24
我刚才测试了一下，没发现异常
你说的“设置成4的时候可以运行，设置成2的时候不可以”，具体是什么现象 ...

不知道是不是跟我的规则设置有关系，刚刚换了一个规则后就正常了......

wjzeng 发表于 2016-10-14 10:05
不知道是不是跟我的规则设置有关系，刚刚换了一个规则后就正常了......

如果只有一条线索，比如，翻页抓取，无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另外，爬虫调度是要排队的，排队一般要花45秒以上，如果在会员中心设置调度参数的时候，“一轮线索数量”设置的比较小，可能在另一个任务排队期间就做完了一批，结果下个任务还会用这个窗口

Fuller 发表于 2016-10-14 10:12
如果只有一条线索，比如，翻页抓取，无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另 ...

好的，非常感谢

Fuller 发表于 2016-10-14 10:12
如果只有一条线索，比如，翻页抓取，无法分布到多个爬虫窗口中的。要用那种有很多线索的规则做测试。

另 ...

群主，我今天用爬虫群跑了一晚上的规则“携程户外3”，明明一个网页上应该有15个旅游项目的数据（包括：名称、价格、出发地点、时间），做规则时测试也好好的，可是用爬虫群抓取数据时，每条线索都只能抓取前面1到2条旅游项目的数据，为什么呢，您能不能帮我看看？

wjzeng 发表于 2016-10-14 23:15
群主，我今天用爬虫群跑了一晚上的规则“携程户外3”，明明一个网页上应该有15个旅游项目的数据（包括： ...

我加载看了，应该是你没有把DS打数机的滚屏打开，用菜单 配置-〉滚屏参数，把滚屏次数设置成>0的数字。

MS测试可以，但是DS打数机运行不行的原因可以看这里：http://www.gooseeker.com/doc/thread-3431-1-6.html

wjzeng 发表于 2016-10-14 23:15
群主，我今天用爬虫群跑了一晚上的规则“携程户外3”，明明一个网页上应该有15个旅游项目的数据（包括： ...

你用爬虫群抓取的话，要在会员中心设置调度参数的时候设置滚屏次数，展开“高级设置”，里面有“滚屏次数”设置项，设置成>0的数字。
另外，不要选择“定时器触发”

Fuller 发表于 2016-10-15 00:04
你用爬虫群抓取的话，要在会员中心设置调度参数的时候设置滚屏次数，展开“高级设置”，里面有“滚屏次数 ...

正解，现已抓取成功，谢谢群主~~

爬虫群 同时抓取 线索会有重复的嘛？