对于定时爬取数据，比如每天一次，有没有方法对历史爬过的线索不再爬去，只爬取新增的线索？

对于定时爬取数据，比如每天一次，有没有方法对历史爬过的线索不再爬去，只爬取新增的线索？          查询结果，每天执行一次，会查询到当前最新的数据，这个页面抓取的时候，会把历史的数据也抓取到

第1种, 观察每天大概会有几页的新增数据, 在调度里限制翻页次数, 用爬虫群来爬
会有少量重复数据, 可以对结果进行去重。
第2种, 你截图对应的规则, 在设置调度参数里, "激活下级线索"选择"否", 这样下一级就只会新增, 已经存在的就不会再自动激活，这个要用爬虫群窗口来爬取才有效