最后登录 1970-1-1
集搜客:网页房产数据中心.jpg (116.91 KB, 下载次数: 775)
下载附件
2017-3-31 12:00 上传
集搜客网页房产数据中心爬取结果重复.jpg (186.36 KB, 下载次数: 754)
2017-3-31 12:01 上传
集搜客网页房产数据中心爬取结果重复2.jpg (140.58 KB, 下载次数: 761)
2017-3-31 12:07 上传
最后登录 2024-5-3
Fuller 发表于 2017-3-31 12:12 DS打数机菜单 配置-》延迟抓取,专门用来解决这个问题的。 如果是爬虫群模式,要在会员中心设置调度参数
wecopy 发表于 2017-3-31 13:08 延迟抓取的话需要估计延迟的时间,并不能严格避免重复抓取。是否能有个设置能记忆自己抓取过的页面,避免 ...
发表回复 回帖并转播 回帖后跳转到最后一页
GMT+8, 2024-5-3 11:36
共 3 个关于本帖的回复 最后回复于 2017-3-31 13:16