Duplication ratio is over the threshold. the pipe line stops

打开了爬虫群，在规则调度里是默认设置为判断下级线索的网址是否有很大重复率，参数为”下级线索重复容忍度“，如果规则里是抓下级网址的话，当线索网址的重复率超过设置的值时，就会中断抓取，把它设置成100%就不判断是否重复了，也不会中断了

在会员中心的爬虫管理->规则管理->调度设置，如果要增量抓下级线索的网址，激活下级线索那里不要选择“是”，要选”否“

目前常用的重复判断有两个：
1）根据下级线索判断是否重复，就是楼主说的情形，主要用于增量抓取，比如，做舆情监测系统，不断监测新闻列表，只把最新的新闻抓下来（下一级抓取详细内容）
2）根据内容判断重复：上面截图的“重复内容中断”，如果连续抓了3次一样的内容，就是重复的，就中断。主要用于翻页抓取。有些网页即使到了最后，点击“下一页”还能点