集搜客GooSeeker网络爬虫

标题: 一个页面两个加载更多按钮 [打印本页]

作者: jyy1082 时间: 2016-9-9 03:57
标题: 一个页面两个加载更多按钮
请问一个页面里面有两个或多个加载按钮，是否能用记号索引来加载并抓取呢？试着做了两个记号索引，第一个加载按钮自动点击加载没问题，可是第二个按钮不自动点击加载更多，但是DS一直不停的循环抓数据。

作者: HJLing 时间: 2016-9-9 09:21
只需要做一个记号线索就可以了就像普通的翻页那样程序看到“加载更多” 就会去点击了

作者: Fuller 时间: 2016-9-9 09:22
如果有多个的话，要用连续动作，爬虫路线上的连贯抓取只能顺着一条线爬，除非做分级抓取。但是，如果没有独立网址，做不了分级抓取，那么就得用连续动作

作者: jyy1082 时间: 2016-9-9 09:41

Fuller 发表于 2016-9-9 09:22
如果有多个的话，要用连续动作，爬虫路线上的连贯抓取只能顺着一条线爬，除非做分级抓取。但是，如果没有独 ...

如果做连续动作，要设置重复多少次呢？不知道要点几次加载按钮

作者: Fuller 时间: 2016-9-9 09:43

jyy1082 发表于 2016-9-9 09:41
如果做连续动作，要设置重复多少次呢？不知道要点几次加载按钮

用xpath，xpath可以得到一个节点集合，这个集合多大它就重复多少次

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)