本帖最后由 ccjam09 于 2018-1-30 13:02 编辑

要爬某公司全国通讯录,涉及多层循环  
一共设计了四个动作 :
一、 在下拉菜单中选择分公司

二、 点击零级分公司

三、点击一级分部门

四、点击二级分部门



开始抓取,管理层只有一级,抓完进入综合部(一级)及按顺序抓取以下分部门(二级),但之后一直在综合部内循环,无法跳到下一个一级部门继续抓取,请问这种情况应如何处理?
感谢回复~


举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2018-1-30 14:44

沙发
数据集 高级会员 发表于 2018-1-30 14:15:15 | 只看该作者

回帖奖励 +1

第三个动作“点击一级分部门”的xpath能定位所有的一级部门吗?  从图上看好像只定位到一个部门,如果只定位到“综合部”这一个部门,就只会抓取"综合部"下的二级部门,不会跳出到下一个一级部门抓取。
举报 使用道具
板凳
ccjam09 初级会员 发表于 2018-1-30 14:35:49 | 只看该作者
数据集 发表于 2018-1-30 14:15
第三个动作“点击一级分部门”的xpath能定位所有的一级部门吗?  从图上看好像只定位到一个部门,如果只定 ...

但我这边xpath点击搜索 显示发现的dom节点数是31
举报 使用道具
地板
wangyong 版主 发表于 2018-1-30 14:44:50 | 只看该作者
ccjam09 发表于 2018-1-30 14:35
但我这边xpath点击搜索 显示发现的dom节点数是31

需要修改一下xpath,xpath定位到的节点一定是我们需要的,多了就会像现在这样重复采集,少了就会丢失数据
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 17:55