21#
goodhanbin 中级会员 发表于 2019-12-19 16:35:50 | 只看该作者
Fuller 发表于 2019-12-19 16:29
如果第一级翻页,不设置“模拟点击”,挡住也不影响,但是有些网页不用模拟点击不行。

看来弹窗位置跟屏 ...

增加动作:关闭窗口,最底部时,就会挡位翻页区,无法翻页

删除动作:关闭窗口,中间行采集时,挡住点击浏览次数,跳行
举报 使用道具
22#
goodhanbin 中级会员 发表于 2019-12-19 16:42:43 | 只看该作者
Fuller 发表于 2019-12-19 16:29
如果第一级翻页,不设置“模拟点击”,挡住也不影响,但是有些网页不用模拟点击不行。

看来弹窗位置跟屏 ...

我的系统windows,  但是CTRL+ 或CTRL-   无法调整窗口大小,无反应
举报 使用道具
23#
Fuller 管理员 发表于 2019-12-19 16:44:43 | 只看该作者
goodhanbin 发表于 2019-12-19 16:35
增加动作:关闭窗口,最底部时,就会挡位翻页区,无法翻页

删除动作:关闭窗口,中间行采集时,挡住点击 ...

要么这样:

做3级规则

第一级:负责点击浏览次数和翻页,点击还是需要两个步骤,第一个步骤点击X号,第二个步骤点击浏览次数

第二级:只有点击动作,负责点击X号

第三级:负责采集数据

多出来第二级,专门用来清理一下网页上的窗口,有就起到作用了,没有就跳过去了
举报 使用道具
24#
goodhanbin 中级会员 发表于 2019-12-19 16:59:43 | 只看该作者
Fuller 发表于 2019-12-19 16:44
要么这样:

做3级规则

刚才测试过,第一级连续翻页:模拟点击, 去掉模拟点击,会出现跳行,直接翻页了,
举报 使用道具
25#
Fuller 管理员 发表于 2019-12-19 18:02:29 | 只看该作者
goodhanbin 发表于 2019-12-19 16:59
刚才测试过,第一级连续翻页:模拟点击, 去掉模拟点击,会出现跳行,直接翻页了,
...

跳行跟翻页无关,应该是点击的xpath不对。假设网页上点击前和点击后的节点的class不同,比如,没有点击的是 //div[@class="num"],点击后的是 //div[@class="num active"]。如果点击动作的xpath是  //div[@class="num"],就会跳行,要写成 //div[contains(@class, "num")]。也就是说,xpath一定要包含所有行。爬虫软件界面上有搜索按钮,搜索一下,无论点击过的还是没有点击过的,都应该能搜到才行
举报 使用道具
26#
goodhanbin 中级会员 发表于 2019-12-19 18:05:26 | 只看该作者
Fuller 发表于 2019-12-19 16:44
要么这样:

做3级规则

这个方法,试过了,

第一级,第一个动作,点击关闭x,第二个动作点浏览次数,激发第二级规则

第二级,关闭x,激发,第三级

第三级,采集访客时间,弹出的窗口,连续翻页采集


但是,在第一行采集时,就关闭窗口了


举报 使用道具
27#
goodhanbin 中级会员 发表于 2019-12-19 18:20:01 | 只看该作者
Fuller 发表于 2019-12-19 18:02
跳行跟翻页无关,应该是点击的xpath不对。假设网页上点击前和点击后的节点的class不同,比如,没有点击的 ...

点击浏览次数://*[@class='td-pv-span']

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
28#
goodhanbin 中级会员 发表于 2019-12-19 18:27:44 | 只看该作者
Fuller 发表于 2019-12-19 18:02
跳行跟翻页无关,应该是点击的xpath不对。假设网页上点击前和点击后的节点的class不同,比如,没有点击的 ...

点击浏览次数,//*[@class='td-pv-span'],可以搜索到10个,见附件图

举报 使用道具
29#
Fuller 管理员 发表于 2019-12-20 09:07:41 | 只看该作者
这个问题很麻烦,似乎很难用一个通用的方法解决它。
举报 使用道具
30#
goodhanbin 中级会员 发表于 2019-12-20 09:12:28 | 只看该作者
Fuller 发表于 2019-12-20 09:07
这个问题很麻烦,似乎很难用一个通用的方法解决它。

附件一:爬虫点击最后一行浏览次数,盖住下方翻页区
附件二:手工点击最后一行浏览次数,未盖住下方翻页区





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-24 02:57