一级任务网站爬取正常，但是二级任务就在第一个网站爬取，不跳到后面的网站？

请教一下：
一级任务运行的正常，网址也都能在二级任务看到，但二级任务只在第一个网址爬，而且不调到下一个网址，这是为什么呢？

如果是手工启动的采集，要在设置界面上打开重复内容中断。我看到你的规则翻页到最后了，却停不下来，说明这个网页翻页即使到最后还能点击下一页，很多网站就是这么做的。这就需要打开重复内容中断功能。

如果用爬虫群模式，那么要在调度参数里面打开这个选项。

噢！好的，我去修改一下，谢谢！

Fuller 发表于 2022-12-9 18:25
如果是手工启动的采集，要在设置界面上打开重复内容中断。我看到你的规则翻页到最后了，却停不下来，说明 ...

你好！我修改了设置，改成了重复中断，但是这样修改了以后爬完第一个链接就任务结束了，得手动才能开启新的链接的爬取，这是为什么呢

kukudeyu 发表于 2022-12-12 09:53
你好！我修改了设置，改成了重复中断，但是这样修改了以后爬完第一个链接就任务结束了，得手动才能开启新 ...

启动采集的时候，会出现一个弹窗，要求输入采集的线索数量，在那里不要输入1，而是有多少网页（ 不包括翻页）就输入多少。