快捷导航

加载规则历时过长的解决方法

2015-12-20 20:54| 发布者: Fuller| 查看: 2351| 评论: 1

摘要: 如果网页上有很多JavaScript代码要执行,比如,淘宝、天猫、各种社交网站等,网页好久加载不完。用火狐浏览器加载这样的网页的话,会看到地址输入栏那里有个旋转的图标 ... ... ... ... ...

1. 什么是加载规则历时很长?

集搜客初级教程讲过,用MS谋数台可以把之前定义的采集规则加载上来,进行修改和错误检查,详见《规则怎么查看、修改、另存、删除》。

但是,如果网页上有很多JavaScript代码要执行,比如,淘宝、天猫、各种社交网站等,网页好久加载不完。用火狐浏览器加载这样的网页的话,会看到地址输入栏那里有个旋转的图标。用MS谋数台加载这样的网页的话,就会出现上图的加载中小窗口。

2. 强制中断网页加载过程

这个小窗口是可以关闭的,请看上图红框中的X号。关闭这个窗口并不影响整个加载过程。如果观察到要抓取的内容都显示出来了,可以不用等待出现“后续分析”提示框,而是手工去选择“文件”菜单-〉“后续分析”。这样做就能减少等待时间。

3.  产生的不良影响

强制进行后续分析会产生不良影响:虽然强制进行了后续分析,也分析成功了,但是网页加载过程实际上还没有完成,网页上的JavaScript代码也没有执行完成,那么网页上的内容可能会变化,最严重的影响是网页网址都变化了,就会显示如下图的红色图标。

如果出现这种情况,就不允许定义抓取规则了,解决方法是:选择“文件”菜单-〉“刷新网页结构”-〉“分析页面”,图标会再次变成绿色,然后就能继续定义规则了。


5

鲜花
2

握手

雷人
1

路过
1

鸡蛋

刚表态过的朋友 (9 人)

发表评论

最新评论

评论 weihouji 2016-1-1 22:09
学到了好多!!!

查看全部评论(1)

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-9-26 08:08