两级规则,同时采集,第一级规则中,打数机数据中,只有第一页数据,其他页数据无;第二级规则,打数机数据,有多页的数据,这是哪儿出问题了
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2019-12-16 16:41

沙发
Fuller 管理员 发表于 2019-12-13 15:51:00 | 只看该作者
第一级规则也要定义翻页规则,是否定义了?
举报 使用道具
板凳
goodhanbin 中级会员 发表于 2019-12-13 15:56:02 | 只看该作者
第一级规定,有定义自动翻页
举报 使用道具
地板
Fuller 管理员 发表于 2019-12-13 16:26:03 | 只看该作者
goodhanbin 发表于 2019-12-13 15:56
第一级规定,有定义自动翻页

有没有出现提示说抓取超时?如果有提示,说明第一级规则不适合。

也可能是第一级规则的翻页点击需要设置成模拟点击。老版本的爬虫软件只能在爬虫群模式下设置翻页的模拟点击,新版本可以在规则中设置。

方案1:在会员中心为爬虫群设置翻页模拟点击的方法:


方案2:给规则设置模拟点击(V9.0.4版本以后)


设置成模拟点击的话,是按照屏幕位置进行点击的。如果“下一页”显示不出来,比如,要左右滚动才能显示,或者上面覆盖了其他窗口,就点击不成功

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
goodhanbin 中级会员 发表于 2019-12-13 16:47:41 | 只看该作者
Fuller 发表于 2019-12-13 16:26
有没有出现提示说抓取超时?如果有提示,说明第一级规则不适合。

也可能是第一级规则的翻页点击需要设置 ...

有按上述要求设置,详情请见附件,还是不行!爬虫可以自动翻页,但是打数机数据,第一页规则只打第一页的
第一级规则,打数机,只打第一页数据,
第二级规则,打数机,可以打多页数据,

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
6#
Fuller 管理员 发表于 2019-12-13 18:25:14 | 只看该作者
goodhanbin 发表于 2019-12-13 16:47
有按上述要求设置,详情请见附件,还是不行!爬虫可以自动翻页,但是打数机数据,第一页规则只打第一页的 ...

你的意思是说,第一级翻页是能实现的,但是翻页以后,没有点击每一条数据?
举报 使用道具
7#
goodhanbin 中级会员 发表于 2019-12-14 09:16:47 | 只看该作者
Fuller 发表于 2019-12-13 18:25
你的意思是说,第一级翻页是能实现的,但是翻页以后,没有点击每一条数据?
...

第一级规则,可以翻页,问题点:第二级规则,打数机打出了每一页数据,第一级规则,打数机,却只打出第一页数据,其他页却打不出来
举报 使用道具
8#
Fuller 管理员 发表于 2019-12-14 09:31:10 | 只看该作者
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗,要用一个点击动作关闭了,不然,盖在第一级上面,就翻页不了了
举报 使用道具
9#
goodhanbin 中级会员 发表于 2019-12-14 11:51:09 | 只看该作者
Fuller 发表于 2019-12-14 09:31
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗 ...

1.第二级规则,有关闭动作,详细见附件截图2.第二级规则,打数机,每一页数据,都 有采集到,反而第一级规则打数机,只采集到第一页数据,反常






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
10#
goodhanbin 中级会员 发表于 2019-12-14 11:58:31 | 只看该作者
Fuller 发表于 2019-12-14 09:31
因为是连续动作,必须第二级都执行完了,才能返回到第一级的循环中。第二级完成以后,如果还有一个弹出浮窗 ...

第二级规则,可以采集到每一页+每一行数据,
第一级规则,反而只采集到,第一页的数据,按逻辑第二级规则是由第一级规则,连续动作,点开窗口才执行的,如果窗口不关闭为何又采集到第二级数据了?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 23:49