2 4973

怎样采集ajax网页信息?

柳华芳 于 2017-2-16 10:03 发表 [复制链接]
如题
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2017-2-16 10:47

ym 版主 发表于 2017-2-16 10:18:11 | 显示全部楼层
本帖最后由 ym 于 2017-2-16 10:23 编辑

ajax网页就是指异步加载信息的网页。现在很多网站的部分网页信息都用到了ajax技术。对于具有独立网址的网页,直接对该网页定义采集规则就可以了;没有独立网址的话,通常要在定义规则时设置连续动作,目的是模拟交互动作。下面分别举例说明:

例1:
如果是只加载当前浏览器屏幕的信息,例如淘宝、京东等电商网站的搜索页面就是滚屏加载当前屏幕的信息,直接对搜索页面做采集规则,集搜客爬虫是默认滚屏采集信息的,所以,这种需要滚屏加载的ajax网页都可以解决。

例2:
如果要通过交互式请求后才能加载出想要的网页信息,例如中国知网的期刊检索页面,要先设置检索条件,才会加载出对应的检索结果。对于这种网页,定义采集规则时要通过连续动作来模拟交互动作,详情参考连续动作系列教程http://www.gooseeker.com/tuto/tutorial.html
QQ截图20170216101700.png
举报 使用道具
柳华芳 新手上路 发表于 2017-2-16 10:47:00 | 显示全部楼层
谢谢解答
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 09:20