我使用的是VIP账号。每天都要定时采集,发现问题如下:
1.有线索,爬虫不抓取数据;
表现一:每天已经定时激活线索,爬虫已开启(24小时不关闭),但爬虫不抓取数据,昨天管理员说是后台升级算法的原因,今天看爬虫已经干活。
表现二:有线索,爬虫抓取数据到一半时,又是等待,我看到的现象是300多条线索,抓取成功100多条后,爬虫等待,是不是后台又升级算法了,重启集搜客客户端又可以了。
2.下载图片时间很长;
下载图片或下载pdf文件时,在临时文件夹tempimg中生成相应文件夹下载文件,但下载的文件不是很大,下载一直没有完成。
表现为,移动文件夹,系统提示该下载的图片被另一个程序占用,关闭集搜客客户端,就可以移动了,但图片文件肯定是不完整的,打不开。
如果出现下载异常,或者网络原因导致下载失败,应该有个处理,不要长时间占用文件。
3.黑屏问题;
这个问题在win7+GTX750或GTX750TI显卡上出现,原来问过,可能是跟显卡冲突导致,不知道现在解决没有,最新版本还未测试。
开启的爬虫数量多一些,抓取的线索多一些,运行一段时间后,出现黑屏问题,只能重启计算机,更新过显卡驱动到最新版本,依然会出现。
以上问题,主要影响我不能每天按时、连续采集数据、使用数据文件,希望能尽快解决。
|
|
|
|
|
共 7 个关于本帖的回复 最后回复于 2017-11-8 12:39