什么是发现重复内容，连贯抓取将被中断

洪城县令

我按照教程设置的翻页，并没有实现，停在第一页了

Anna J · 发表于 2016-1-5 21:56:19

翻页设置有问题，造成了重复抓当前页，具体看教程http://www.gooseeker.com/doc/thread-698-1-1.html

Fuller · 发表于 2016-1-5 23:15:36

如果抓取到的内容，连续三页都是一样的，就会触发中断。

这个功能可以禁止掉。在DS打数机菜单中，高级-〉终点标志-〉重复内容，不要勾选

在爬虫群调度参数中也有相应参数

共 2 个关于本帖的回复最后回复于 2016-1-5 23:15

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页