goodhanbin 中级会员 发表于 2019-12-7 11:52:04 | 显示全部楼层

定位,使用偏好class,   也一样,停留 在第一页,重复采集
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 11:55:32 | 显示全部楼层
Fuller 发表于 2019-12-7 11:19
你这个DS打数机运行时的窗口,宽度不够,显示不出来 “下一页”按钮,如果勾上“模拟点击”,这个按钮一 ...

翻页有钩选模拟点击,另外,可以手动点翻页
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 12:01:53 | 显示全部楼层
Fuller 发表于 2019-12-7 11:19
你这个DS打数机运行时的窗口,宽度不够,显示不出来 “下一页”按钮,如果勾上“模拟点击”,这个按钮一 ...

翻页有钩选模拟点击,另外,可以手动点翻页,总不至 于一直按手动翻页吧,?


举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 15:36:21 | 显示全部楼层
Fuller 发表于 2019-12-7 11:31
这样不行:不用用绝对定位

第一页,自动爬过去了,现在第二页重复抓取,如何解决,急盼回复,谢谢了
举报 使用道具
Fuller 管理员 发表于 2019-12-7 17:32:46 | 显示全部楼层
goodhanbin 发表于 2019-12-7 15:36
第一页,自动爬过去了,现在第二页重复抓取,如何解决,急盼回复,谢谢了
...

第二页的下一页按钮是否跟第一页一样?比较一下,看看xpath是否需要改写
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 17:58:27 | 显示全部楼层
Fuller 发表于 2019-12-7 17:32
第二页的下一页按钮是否跟第一页一样?比较一下,看看xpath是否需要改写
...

第二页,下一页按钮和第一页,一样
55第二页下一按钮.png
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 18:01:44 | 显示全部楼层
goodhanbin 发表于 2019-12-7 17:58
第二页,下一页按钮和第一页,一样

下一页,按钮编号,都是7202
55第二页下一按钮7202.png
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-7 18:35:16 | 显示全部楼层
Fuller 发表于 2019-12-7 17:32
第二页的下一页按钮是否跟第一页一样?比较一下,看看xpath是否需要改写
...

目前,一直停留在第三页,至上而下,反复采集,是否这个页面当中,二级窗口未关闭,导致重新采集第三页?
55第三页重复采集.png
举报 使用道具
goodhanbin 中级会员 发表于 2019-12-13 14:45:54 | 显示全部楼层
Fuller 发表于 2019-12-7 17:32
第二页的下一页按钮是否跟第一页一样?比较一下,看看xpath是否需要改写
...

第一级规则,打数机中,只采到第一页数据;
第二级规则,打数据机,可以采到多页数据,

这是哪儿出问题?
举报 使用道具
Fuller 管理员 发表于 2019-12-13 15:50:37 | 显示全部楼层
goodhanbin 发表于 2019-12-13 14:45
第一级规则,打数机中,只采到第一页数据;
第二级规则,打数据机,可以采到多页数据,

因为要定义多级采集,我们又没有这个网站的账号,不好测试。
第一级规则定义了翻页采集了吗?

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 20:18