翻页到了上限后，又重头开始采集重复内容

用的是旧版浏览器，设置重复内容中断，可还是一直重复采集，几次都是这样。

重复内容中断不是适用所有重复情况的。举几个例子：

情况一：如果翻页是这种情况：1，2，3，4，5，5，5，5，5，那么重复内容中断就能起作用
情况二：如果翻页是这种情况：1，2，3，4，5，1，2，3，4，5，1，2，3，4，5，那么重复内容中断就不起作用。必须限定最大翻页数

Fuller 发表于 2021-2-3 22:58
重复内容中断不是适用所有重复情况的。举几个例子：

情况一：如果翻页是这种情况：1，2，3，4，5，5，5，5 ...

有50页，不知道为什么到了50页又重头开始。。

ysdrjsj 发表于 2021-2-3 23:32
有50页，不知道为什么到了50页又重头开始。。

那就是第二种情况，要限制翻页次数，如果运行在爬虫群模式下，在调度参数中设置；


如果是手工启动的采集，那么启动采集的时候可以设置