抓取多页网页数据，如何避免最后重复抓取？？

baizhu123

到最后一页，一直抓取，我设置了高级选项重复项退出，可是还是多抓了两页才退出，怎么办

wangyong · 发表于 2017-8-27 20:24:37

是判断连续重复3页才自动退出，可以抓取完成后删除重复数据
如果翻页次数是固定的，爬虫群调度里可以设置翻页次数

共 1 个关于本帖的回复最后回复于 2017-8-27 20:24

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页