集搜客GooSeeker网络爬虫

标题: 采集动态网站需要注意的两点 [打印本页]

作者: wangyong    时间: 2015-12-4 18:03
标题: 采集动态网站需要注意的两点
本帖最后由 wangyong 于 2015-12-4 18:12 编辑

在抓取动态网站时由于网页数据在不断刷新,会出现定位不到网页位置这个提示。
[attach]453[/attach]
为避免出现这个提示,在抓取动态页面时,在MS谋数台中加载网页后,要勾选“冻结页面”,然后点击“刷新页面”后在做规则。
[attach]454[/attach]
文件→冻结页面
1.“冻结页面”后就是网页不在刷新,也就不会出现定位不到网页位置这个提示。
[attach]455[/attach]
配置→定时器触发
2.DS打数机在抓取动态页面时,要勾选“定时器触发”以提高抓取效率。
“定时器触发”,抓取动态页面时,网页数据在不断刷新,DS打数机无法判断网页是否加载完毕,勾选“定时器触发后”,网页上只要出现规则中勾选了关键内容的抓取内容,DS打数机就会执行抓取。







欢迎光临 集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/) Powered by Discuz! X3.2