本帖最后由 xuhan1434139021 于 2016-12-1 18:11 编辑

首先这个网页需要登录,也有验证码,其次这个网页基于ajax来进行动态加载的,要取的数据是在一个表格内,点击翻页的时候整个页面只有表格的数据变化,其余的不会变化,会报"抓取规则不适合:没有发现iframe/frame"的错误,
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2016-12-1 21:58

沙发
gz51837844 管理员 发表于 2016-12-1 17:00:23 | 只看该作者
主题名是什么?
举报 使用道具
板凳
ym 版主 发表于 2016-12-1 17:34:47 | 只看该作者
你定义规则的时候,表格是在iframe中的,但是,抓取的时候,没有发现这个iframe,你抓的是样本页面吗?可能是表格加载特别慢才失败的。
可以放慢采集速度,这样网页就可以延长加载时间,等表格都加载出来后再采集,放慢速度的方法见http://www.gooseeker.com/doc/thread-676-1-2.html
举报 使用道具
地板
xuhan1434139021 初级会员 发表于 2016-12-1 20:08:57 | 只看该作者

ebaoxiantest
举报 使用道具
5#
中秋2016 中级会员 发表于 2016-12-1 20:22:42 | 只看该作者
你规则里的样本页面访问不到, http://testa.ejsino.net/thirdpar ... 97DatePicker.htm###
举报 使用道具
6#
Fuller 管理员 发表于 2016-12-1 21:14:59 | 只看该作者
规则里面很多iframe:
  1. //*[@id='frmMain']
复制代码
但是,用这个xpath定位不到。是不是在这个样本页面上做了什么点击操作以后才做的规则?直接在这个样本页面上,分析规则失败。当时你是做了什么动作以后才定义规则的?



举报 使用道具
7#
xuhan1434139021 初级会员 发表于 2016-12-1 21:17:29 | 只看该作者
Fuller 发表于 2016-12-1 21:14
规则里面很多iframe:
但是,用这个xpath定位不到。是不是在这个样本页面上做了什么点击操作以后才做的规则 ...

是的,当时登录之后界面本身没有东西,之后要选定了一段日期,下方的表格才有数据
举报 使用道具
8#
Fuller 管理员 发表于 2016-12-1 21:58:25 | 只看该作者
xuhan1434139021 发表于 2016-12-1 21:17
是的,当时登录之后界面本身没有东西,之后要选定了一段日期,下方的表格才有数据
...

如果是这样的话,比如要定义一组连续动作,需要两个或者更多主题名,一个主题作动作,一个抓数据。否则,显示的网页内容不对,抓不到数据
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 20:59