12 22322

飞掠模式页面刷新

cfyconan 于 2018-7-20 10:45 发表 [复制链接]
http://www.cssn.net.cn/cssn/cssn/search/search_base.jsp

想对该网址搜索出的标准的详细信息进行读取,因为标准没有独立链接,故采用飞掠模式

问题是,对最后一级的标准详细信息的采集规则单独运行时可以正常收集信息,但是通过飞掠模式调用采集规则是就报错说超时

如果手动把弹出页面刷新一下,则不会报错,这是为什么?



举报 使用道具
| 回复

共 12 个关于本帖的回复 最后回复于 2018-7-21 11:06

Fuller 管理员 发表于 2018-7-20 11:05:27 | 显示全部楼层
第一级主题名是什么?我们加载分析一下
举报 使用道具
cfyconan 初级会员 发表于 2018-7-20 12:53:58 | 显示全部楼层
Fuller 发表于 2018-7-20 11:05
第一级主题名是什么?我们加载分析一下

我自己做的吗?叫“中国标准服务网信息”
举报 使用道具
汽车论坛 中级会员 发表于 2018-7-20 14:36:27 | 显示全部楼层
本帖最后由 汽车论坛 于 2018-7-20 14:47 编辑

1,第一级规则,输入关键词和条件后,点击检索。目标主题名对应到第二级规则名,这一级应该没问题
2,第二级规则,动作一勾选作废,动作二和动作三应该没作用,可以删除,动作的目标主题名对应第三级规则名

3,第三级规则,采集列表信息,应该是设置点击动作,依次点击列表页上的每一个信息,进入详情页,动作的目标主题名对应第四级规则名。(这级规则需要勾选飞掠模式)

4,第四级规则,采集详情页信息

举报 使用道具
cfyconan 初级会员 发表于 2018-7-20 17:30:11 | 显示全部楼层
汽车论坛 发表于 2018-7-20 14:36
1,第一级规则,输入关键词和条件后,点击检索。目标主题名对应到第二级规则名,这一级应该没问题
2,第二 ...

是这么个逻辑, 问题是直接测试第四步规则时,没问题

通过第三步规则飞掠模式调用第四步时, 第四步弹出的窗口必须要我手动刷新页面(或者在弹出页面上点击任意链接跳转再回退)一次才能抓数据,不然就提示“规则错误或超时”

给我的感觉就像通过第三步规则飞掠调用出的窗口鼠标事件不能聚焦

举报 使用道具
Fuller 管理员 发表于 2018-7-20 19:12:17 | 显示全部楼层
cfyconan 发表于 2018-7-20 17:30
是这么个逻辑, 问题是直接测试第四步规则时,没问题

通过第三步规则飞掠模式调用第四步时, 第四步弹出 ...

我正在逐个分析你的规则,规则“检索结果处理”是要发起飞掠的,但是xpath
  1. //*[@class='gyServiceContent']/table/tbody/tr
复制代码
定位到的节点,第一个不是你要的内容,点击第一个的时候,会没有反应



举报 使用道具
Fuller 管理员 发表于 2018-7-20 19:14:53 | 显示全部楼层
我正在尝试改成
  1. //*[@class='gyServiceContent']/table/tbody/tr[position()>1]
复制代码


我用“搜索”功能看到刚好搜到12个

测试20180720191429.png
举报 使用道具
Fuller 管理员 发表于 2018-7-20 19:21:01 | 显示全部楼层
cfyconan 发表于 2018-7-20 17:30
是这么个逻辑, 问题是直接测试第四步规则时,没问题

通过第三步规则飞掠模式调用第四步时, 第四步弹出 ...

我把这4级都测试了一遍,确实像你说的,要在最后一级那里,手工做一次刷新操作。这个问题我反馈给开发人员了,明天检查一下具体原因是什么
举报 使用道具
Fuller 管理员 发表于 2018-7-20 19:36:23 | 显示全部楼层
刚才我又测试了一遍,多等一会,是能采集的,没有遇到规则错误的提示。但是等的时间有点长,明天我们查一查
举报 使用道具
Fuller 管理员 发表于 2018-7-20 19:43:25 | 显示全部楼层
我发现你的第三级规则其实也不用修改xpath,因为你在高级设置里面设置了起点=2,其实也就是把第一个tr跳过去了。

我测试的是可以运行的,就是最后一级特别慢,明天我们查查原因
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 09:49