翻页打第二页就不会翻，一直重复抓取第二页

如题，全部按照教程来，就是定位下一页时，由于没有text，就取消了文本记号，选择了@herf，然后运行，翻页到第二页，一直重复抓取了80次第二页，，不是我手动关闭的话估计会一直抓下去

盖楼 求大神解答

href不是固定的，所以不能用来当做翻页标志

这个种情况可以用相对翻页，模拟点击第一页、第二页……这样一直翻下去

18026110282 发表于 2018-5-24 11:42
盖楼 求大神解答

我做了这样的实验，发现你用的翻页记号不合适
1，点击“查看规则”按钮
2，把翻页规则拷贝出来，粘贴到XPath输入框，点击“搜索”按钮
3，可以看到搜到了2个节点，第一个是页码2那个链接
这说明爬虫在翻页的时候，根据翻页规则找到的第一个节点，就会点击他。所以，一直在点页码2

我这样修改是成功的：
1，缩小翻页区，就选择那个 > 号对应的LI，因为这个节点的class很独特，不会跟别的节点混淆
2，翻页记号用A节点的@class属性，不要用href，因为href中的 /qiche/275158/p2/ 中的p2明显是说第二页，所以，不能用它