一个页面重复采集，怎么解决

常见问题 > 制作规则—常见问题导航 > 翻页 > 翻页重复、死循环的解决方法

1、首先说明一下为什么会有重复采集的情况发生
通常是翻页采集时，会在最后一页上重复采集，这是因为翻页的标记值依然存在，爬虫就会一直点击，从而无法跳转到下一条线索。而有独立网址的网页（不涉及翻页），就不会有重复采集的情况发生。

2、如何解决重复采集的情况
1）通过“单搜”/“集搜”采集的话，要设置DS打数机的高级菜单->勾上重复内容，这样的话，当一个页面重复采集达到3次，爬虫就会停止采集该网址，然后跳到采集下一条网址。最后，可以通过excel过滤掉重复的数据。

2）通过爬虫群采集的话，要在规则的调度中把重复内容选择为是。

3）到MS谋数台中修改规则，首先要找出最后一页翻页记号的结构变化，然后在爬虫路线中自定义翻页的xpath，点击保存修改后就不用点存规则了，否则会被原来的采集程序覆盖。详情参考教程的第三步的第1,2点《怎么解决翻页死循环/重复翻页的问题》

4）若下一页按钮里带有下页网址，可以删掉翻页线索，把下一页的网址采集下来并设置下级线索，目标主题名依然填本级的主题名，然后用爬虫群采集就可以自动逐页采集，遇到采集失败的情况，只需激活失败线索，爬虫群就可以继续采集下一页，详细操作参考这篇文章的第三步第3点《实战：怎么解决翻页死循环/重复翻页的问题》