发现重复内容，抓取中断

    请问“发现重复内容，抓取中断”，这种情况下是怎么判断重复的？是整个页面都是重复的才中断吗？

1、如果连续的抓取到3个完全相同的XML结果文件，就会触发中断。

2、这个功能是可以去掉的。在DS打数机的菜单中选择，高级 -> 终点标志 -> 重复内容，去掉勾选。

3、在爬虫群调度中也可以设置相应参数，取消重复内容中断。