#提问#爬虫中断如何避免重复数据

AnswerDSL

我想问个问题，如果爬虫在爬取过程中，遇到一些原因关闭了（例如手动关闭、电脑关机等等），应该如果接着上次的地方重新采集？而这会不会有可能采集到了重复的数据？

xandy · 发表于 2016-11-10 12:03:23

1.只有一条线索，采集中断后重新启动如果重新激活线索后采集，会重新开始采集，这个时候会有重复的数据
2.有多条线索，采集中断后重新启动
重新启动后抓的是剩下的线索数，与前面已经抓完的数据不会有冲突（因为线索不同）

共 1 个关于本帖的回复最后回复于 2016-11-10 12:03

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页