对于定时爬取数据，比如每天一次，有没有方法对历史爬过的线索不再爬去，只爬取新增的线索？

huzhongshun11 · 发表于 2017-8-16 18:26:08

第1种, 观察每天大概会有几页的新增数据, 在调度里限制翻页次数, 用爬虫群来爬
会有少量重复数据, 可以对结果进行去重
第2种, 你截图对应的规则, 在设置调度参数里, "激活下级线索"选择"否", 这样下一级就只会新增, 已经存在的就不会再自动激活

共 1 个关于本帖的回复最后回复于 2017-8-16 18:26

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页