集搜客GooSeeker网络爬虫

标题: 小白问题，同一规则多个页面抓取失败，求助！！ [打印本页]

作者: molinghanxin 时间: 2016-3-10 10:13
标题: 小白问题，同一规则多个页面抓取失败，求助！！
我是同一个规则然后也激活了全部线索，抓取完第一个网页之后就发现不跳网页了。。。如图
我要怎么做才能让他自己跳转网页抓取

作者: Fuller 时间: 2016-3-10 11:22
有好几个方案解决这个问题：
1，方案1：最简单，设置DS菜单高级-》中断标志-》重复内容，如果最后重复采集，最多重复3次
2，方案2：重复线索，如果还有下一级主题，这一级要为下一级抓取网址，那么在会员中心-》爬虫管理-》规则管理那里，设置调度参数，其中可以设置重复容忍度，比如80%。这样打开爬虫群模式：http://www.gooseeker.com/doc/article-200-1.html
3，方案3：分析DOM，尤其是最后一页的@class值是否有不同，如果不同，可以利用这一点，手工修改翻页规则，当发现@class值变了，就不翻页了。
你先用方案1或者2解决一下试试

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)