|
多谢耐心回复。不过不是这个造成的。爬虫群中的这个参数已设置为1.
运行爬虫群的窗口截图如下:
如上图所示:
标识1:为一级任务-任务1,连续动作会陆续点击3个链接(该链接无法直接获取,只能点击链接通过飞掠采集新弹出页面采集所需数据);
标识2:为二级任务-任务2的执行窗口状态,
执行逻辑为:
1:任务1中连续动作第1次飞掠模式点击链接1,弹出链接1新网址页面,
2:任务2在弹出去的新网址页面1采集数据;
3:然后任务1中连续动作第2次飞掠模式点击链接2,弹出链接2新网址页面,
4:任务2在弹出去的新网址页面2采集数据;
5:然后任务1中连续动作第3次飞掠模式点击链接3,弹出链接3新网址页面,
6:任务2在弹出去的新网址页面3采集数据;
7:任务1完成所有连续动作,完成1次完整任务与执行;
8:任务1读入新的执行线索,重复1-6;
9:任务1会读入很多执行线索。
这样会造成标识2所在区域出现成千上万及更大量级的“结束状态”窗口,最终占尽系统资源。
备注:标识2区域的“结束状态”为任务2的结束状态,
其内容为:
“"任务2" 已完成采集,您可以:
把采集结果转换成Excel,点击导出Excel
管理任务、网址和数据,点击管理任务
检查是否有失败情况,点击查看日志”
请达人们帮看看,有什么好办法解决?
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
|
共 14 个关于本帖的回复 最后回复于 2022-10-19 14:33