翻页到末尾再点击下一页会回到首页，各位大神这种怎么破

酱紫

这种翻页到末页的时候下一页按钮会跳回到首页造成死循环，做规则的时候怎么规避这个问题，这里的页数也不是固定的

quyixuan · 发表于 2016-11-14 10:31:44

加载最后一页，看看那个“下一页”的class是否有什么特别，如果有特别，可以直接改写生成的翻页规则。如果没有特别，这种自动跳到第一页就比较难处理，也无法根据重复内容中断抓取

quyixuan · 发表于 2016-11-14 10:33:42

如果有下级线索，可以根据下级线索的重复比例中断抓取

根据下级线索重复度中断抓取的设置要在会员中心做，只有爬虫群模式才能用上

酱紫 · 发表于 2016-11-14 10:34:25

quyixuan 发表于 2016-11-14 10:31
加载最后一页，看看那个“下一页”的class是否有什么特别，如果有特别，可以直接改写生成的翻页规则。如果 ...

我看过class了，没变……

quyixuan · 发表于 2016-11-14 10:34:42

酱紫发表于 2016-11-14 10:34
我看过class了，没变……

如果也没有下级线索，只有限定翻页次数了

共 4 个关于本帖的回复最后回复于 2016-11-14 10:34

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页