翻页太慢导致同一页反复抓取多次，如何解决？

爬虫主题：网易房产数据中心
翻页时使用的是相对线索，可以正常翻页，但是翻页速度较慢，前面几页大概半分钟翻一次页，导致同一页反复抓取了3次；越往后翻页速度越慢，重复抓取越多，到第49页似乎完全停止翻页，但是抓取动作持续进行。如何解决？

DS打数机菜单 配置-》延迟抓取，专门用来解决这个问题的。

如果是爬虫群模式，要在会员中心设置调度参数

Fuller 发表于 2017-3-31 12:12
DS打数机菜单 配置-》延迟抓取，专门用来解决这个问题的。

如果是爬虫群模式，要在会员中心设置调度参数

延迟抓取的话需要估计延迟的时间，并不能严格避免重复抓取。是否能有个设置能记忆自己抓取过的页面，避免重复抓取？

wecopy 发表于 2017-3-31 13:08
延迟抓取的话需要估计延迟的时间，并不能严格避免重复抓取。是否能有个设置能记忆自己抓取过的页面，避免 ...

可以入库以后，数据使用的时候把重复数据过滤掉。