解决只有数字页码的翻页:相对线索

2015-10-29 15:20| 发布者: ym| 查看: 29020| 评论: 5

摘要: 只有1,2,3,…的页码,没有翻页记号的情况就不适用记号线索做翻页了,这时候,可以通过相对线索来实现翻页,利用当前页码和下一页码的位置自动计算出下一页的位置,实现自动翻页。 使用相对线索实现翻页 1、转到爬 ...

注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的采集执行情况、管理线索网址以及做调度设置了。

只有1,2,3,…的页码,没有翻页记号的情况就不适用记号线索做翻页了,这时候,可以通过相对线索来实现翻页,利用当前页码和下一页码的位置自动计算出下一页的位置,实现自动翻页。

使用相对线索实现翻页

1、转到爬虫路线工作台,新建相对线索

2、点击翻页区自动定位,往上层找到橙色框的翻页区对应的dom节点,本案例中翻页区节点是div[@class='pager'],右击映射给定位编号

3、点击“1”自动定位,找到对应的dom节点,右击选择线索映射->相对线索->当前位置

4、同理,选择“2”对应的dom节点映射给下一位置

35

鲜花
1

握手

雷人
3

路过
3

鸡蛋

刚表态过的朋友 (42 人)

相关阅读

发表评论

最新评论

评论 Fuller 2021-4-8 23:03
Ziatianzhiyan: 老老实实按照图片步骤翻页,为啥失败了。
Ziatianzhiyan: 老老实实按照图片步骤翻页,为啥失败了。
Ziatianzhiyan: 老老实实按照图片步骤翻页,为啥失败了。
在使用交流那里专门创建一个帖子,把规则名字发出来,管理员会分析你的规则有什么问题
评论 Ziatianzhiyan 2021-4-8 20:48
老老实实按照图片步骤翻页,为啥失败了。
评论 Vickey_ni 2016-10-14 15:10
使用了相对线索翻页,可在反复采集第二页,不往下翻页怎么办?
评论 ym 2016-6-21 14:04
Krista: 没有下一页标志,使用相对线索翻页,翻页不成功,或者重复采集怎么办?
看翻页的问题集锦解决http://www.gooseeker.com/doc/thread-698-1-1.html
评论 Krista 2016-6-21 12:08
没有下一页标志,使用相对线索翻页,翻页不成功,或者重复采集怎么办?

查看全部评论(5)

GMT+8, 2024-10-31 12:53