您好,我在使用datascraper时 有时总线索数 会显示 VDDPG 剩余线索 AGAIN 然后要等很久才会继续抓取 这是什么原因 ? 是不是和网速有关系 网速太慢加载不了页面? 还有就是在 总线索数 1 PLINE 剩余线索 显示 0 SUPA 这样是什么意思 页面就卡着不动了 还有就是可以用datascraper 对一个主题重复加载提取吗? 麻烦您解答一下 谢谢!
如果抓取慢,主要有如下原因: 1,网速太慢,DataScraper要等待所有设置了isKey的信息属性都加载到浏览器中才能抓取 2,定义的抓的规则不合适,最后可能会在下部日志部分显示timeout或者其它日志信息,那么要修改抓取规则,让它有更高的适应度 3,如果设置了ajax抓取选项,极个别的网页会出现内容不断刷新,从而导致DataScraper总是等待,比如,个别的淘宝网页。那么就需要在DataScraper菜单上选择“定时器触发”。这个选项尽量不要用,因为如果网络速度很慢而等待时间过短,很可能本来应该能够抓取下来的内容没有抓取到,
另外,如果认为超时时间太长,等得不耐烦,可以把超时设置短一些。
关于怎样激活以前抓过的,有两种方法: 1,如果以前抓取失败了,那么在DataScraper的弹出菜单中有“激活”一项 2,如果以前抓取成功了,菜单激活不了,需要用crontab.xml文件中的renewClue进行激活,参看《周期性网页抓取调度文件》
激活方式
如果抓取慢,主要有如下原因:
1,网速太慢,DataScraper要等待所有设置了isKey的信息属性都加载到浏览器中才能抓取
2,定义的抓的规则不合适,最后可能会在下部日志部分显示timeout或者其它日志信息,那么要修改抓取规则,让它有更高的适应度
3,如果设置了ajax抓取选项,极个别的网页会出现内容不断刷新,从而导致DataScraper总是等待,比如,个别的淘宝网页。那么就需要在DataScraper菜单上选择“定时器触发”。这个选项尽量不要用,因为如果网络速度很慢而等待时间过短,很可能本来应该能够抓取下来的内容没有抓取到,
另外,如果认为超时时间太长,等得不耐烦,可以把超时设置短一些。
关于怎样激活以前抓过的,有两种方法:
1,如果以前抓取失败了,那么在DataScraper的弹出菜单中有“激活”一项
2,如果以前抓取成功了,菜单激活不了,需要用crontab.xml文件中的renewClue进行激活,参看《周期性网页抓取调度文件》