快捷导航
如题,全部按照教程来,就是定位下一页时,由于没有text,就取消了文本记号,选择了@herf,然后运行,翻页到第二页,一直重复抓取了80次第二页,,不是我手动关闭的话估计会一直抓下去
捕获1.PNG
捕获.PNG
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-5-24 12:10

18026110282 新手上路 发表于 2018-5-24 11:42:38 | 显示全部楼层
盖楼 求大神解答
举报 使用道具
wangyong 版主 发表于 2018-5-24 12:04:18 | 显示全部楼层
href不是固定的,所以不能用来当做翻页标志

这个种情况可以用相对翻页,模拟点击第一页、第二页……这样一直翻下去

举报 使用道具
Fuller 管理员 发表于 2018-5-24 12:07:31 | 显示全部楼层

翻页规则.png

我做了这样的实验,发现你用的翻页记号不合适
1,点击“查看规则”按钮
2,把翻页规则拷贝出来,粘贴到XPath输入框,点击“搜索”按钮
3,可以看到搜到了2个节点,第一个是页码2那个链接
这说明爬虫在翻页的时候,根据翻页规则找到的第一个节点,就会点击他。所以,一直在点页码2



举报 使用道具
Fuller 管理员 发表于 2018-5-24 12:10:13 | 显示全部楼层
新翻页20180524120657.png

我这样修改是成功的:
1,缩小翻页区,就选择那个 > 号对应的LI,因为这个节点的class很独特,不会跟别的节点混淆
2,翻页记号用A节点的@class属性,不要用href,因为href中的 /qiche/275158/p2/ 中的p2明显是说第二页,所以,不能用它
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 批量爬取亚马逊商品价格、评论信息
  • 批量爬取eBay商品价格、销售情况信息
  • 批量爬取淘宝商品sku、价格、评价数据
  • 批量爬取速卖通商品价格、评论信息
  • 爬取微博影评人数据做职业特征分析

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-6-20 02:09