快捷导航
4 925

怎么提高抓取速度

TonyJiang 于 2016-11-14 10:43 发表 [复制链接]
抓大量数据的时候,有些什么办法能提高抓取速度的
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-9-16 09:31

quyixuan 金牌会员 发表于 2016-11-14 10:45:36 | 显示全部楼层
可以用多台电脑登录同一个账号爬取,每个电脑多开几个爬虫群窗口
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-11-14 16:00:57 | 显示全部楼层
利用集搜客的爬虫群模式,多台电脑可以协同爬取
举报 使用道具
gooseeker_info 金牌会员 发表于 2016-11-14 20:13:32 | 显示全部楼层
运行爬虫群,可以跨电脑、跨地域,大批量分布式爬数据。如果批量很大,可以联系GooSeeker官方,购买专用的企业版
举报 使用道具
Fuller 管理员 发表于 2017-9-16 09:31:10 | 显示全部楼层
这里有 一篇专门的教程《怎样优化DS打数机的抓取速度
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息
  • 批量爬取亚马逊商品价格、评论信息
  • 批量爬取eBay商品价格、销售情况信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-7-20 07:24