做了2个任务:
任务1:定义连续动作,连续动作后,执行任务2(到动作后的新页面采集数据,需要采集3次,动作中已定义);
任务2:采集1个新页面中的几个数据;
任务1的下级任务定义为:任务2
存在问题是:
任务1和任务2加入爬虫群后,然后启动爬虫群
动作执行正确,采集数据正确;但任务2采集一个页面的数据就会返回一个“结束状态”窗口,导致“结束状态”窗口太多(发现好像任务2“结束状态”出现后会触发任务1中的后续采集动作)。
任务2调度设置中的“一批网址数量”改大,问题依旧存在。
期望实现:
启动爬虫群,任务1还在执行中,子任务-任务2采集完数据,“结束状态”窗口不出现,最后出现任务1的“结束状态”
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
|
|
|
|
共 14 个关于本帖的回复 最后回复于 2022-10-19 14:33