集搜客网络爬虫软件下载文件出现这个错误怎么办？

集搜客网络爬虫软件下载文件和图片、视频的操作很简单，赞一个！

我下载网页上的附件，附件很多，同时开了15个爬虫窗口，我参照《用网络爬虫软件自动下载网页上的文件》这个教程。一开始运行都很好，也很快，不过过一些时间后后偶尔出现这个异常。是什么原因？

你运行的爬虫窗口太多了，通常我们不建议运行10个以上的爬虫窗口。

如果电脑很强大，很大内存，好几个cpu，硬盘也有磁盘阵列，IO速度很快，那么多运行一些爬虫窗口抓取普通网页内容是可以的。但是，下载文件还有不行。

因为下载文件有唯一一个管理进程，不像抓取网页，每个网页有自己的进程，可以并行运行，下载管理都集中在一个进程中，就会出现调度拥塞问题，有些文件就会漏掉。

我们将在V10.6.0版本将提示窗做的好看一些，但是，仍然不能同时有太多窗口执行下载任务

Fuller 发表于 2021-3-25 09:53
你运行的爬虫窗口太多了，通常我们不建议运行10个以上的爬虫窗口。

如果电脑很强大，很大内存，好几个cpu ...

参看这个帖子：https://www.gooseeker.com/doc/thread-18473-1-1.html

V10.6.0也会大大优化下载性能