集搜客GooSeeker网络爬虫

标题: 翻页打第二页就不会翻，一直重复抓取第二页 [打印本页]

作者: 18026110282 时间: 2018-5-24 11:42
标题: 翻页打第二页就不会翻，一直重复抓取第二页
如题，全部按照教程来，就是定位下一页时，由于没有text，就取消了文本记号，选择了@herf，然后运行，翻页到第二页，一直重复抓取了80次第二页，，不是我手动关闭的话估计会一直抓下去

作者: 18026110282 时间: 2018-5-24 11:42
盖楼求大神解答

作者: wangyong 时间: 2018-5-24 12:04
href不是固定的，所以不能用来当做翻页标志

这个种情况可以用相对翻页，模拟点击第一页、第二页……这样一直翻下去

作者: Fuller 时间: 2018-5-24 12:07

18026110282 发表于 2018-5-24 11:42
盖楼求大神解答

[attach]9448[/attach]

我做了这样的实验，发现你用的翻页记号不合适
1，点击“查看规则”按钮
2，把翻页规则拷贝出来，粘贴到XPath输入框，点击“搜索”按钮
3，可以看到搜到了2个节点，第一个是页码2那个链接
这说明爬虫在翻页的时候，根据翻页规则找到的第一个节点，就会点击他。所以，一直在点页码2

作者: Fuller 时间: 2018-5-24 12:10
[attach]9449[/attach]

我这样修改是成功的：
1，缩小翻页区，就选择那个 > 号对应的LI，因为这个节点的class很独特，不会跟别的节点混淆
2，翻页记号用A节点的@class属性，不要用href，因为href中的 /qiche/275158/p2/ 中的p2明显是说第二页，所以，不能用它

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)