要爬的网页是知网:
详细情况是1、在网页上翻页时网址不发生改变
                 2、在网页上没有能够输入跳转到‘**页’的输入框
                综上,即是在浏览器中要到第x页也只能点击”下一页“按钮翻找。
我第一次爬取了147页的数据,现在我想直接去148页爬取。怎么办?
主题号:知网-搜索123
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-4-11 21:08

沙发
KulfiYuen 新手上路 发表于 2017-4-11 19:56:12 | 只看该作者
我试过以下方法:
在连续动作里设置”点击'下一页‘147次,但是在爬取过程中没有展示有这一步?为什么呢?
举报 使用道具
板凳
Fuller 管理员 发表于 2017-4-11 20:04:40 | 只看该作者
测试了你的规则,运行正常,但是翻页过程中我很快遇到了验证码,你能翻147页?我刚才才翻了几页。

这个无法直接跳到148的,连续动作即使设置了147次也没用。另外,你在连续动作里面哪个地方设置成147?重复次数吗?
举报 使用道具
地板
KulfiYuen 新手上路 发表于 2017-4-11 20:13:26 | 只看该作者
Fuller 发表于 2017-4-11 20:04
测试了你的规则,运行正常,但是翻页过程中我很快遇到了验证码,你能翻147页?我刚才才翻了几页。

这个无 ...

是的,我也输入了很多次验证码。是的,我是在连续动作里设置的,高级设置里重复了147次。还是不行所以我把那个步骤删掉了,现在那个主题上面已经没有这个步骤了。
这个连续操作为什么不能实行147次呢?
举报 使用道具
5#
Fuller 管理员 发表于 2017-4-11 21:08:09 | 只看该作者
KulfiYuen 发表于 2017-4-11 20:13
是的,我也输入了很多次验证码。是的,我是在连续动作里设置的,高级设置里重复了147次。还是不行所以我 ...

如果定位表达式写的对,就能点击上,再分别尝试模拟点击或者不模拟点击,连续动作也是可以实现的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 17:12