快捷导航
4 392

怎么提高抓取速度

TonyJiang 于 2016-11-14 10:43 发表 [复制链接]
抓大量数据的时候,有些什么办法能提高抓取速度的
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-9-16 09:31

quyixuan 版主 发表于 2016-11-14 10:45:36 | 显示全部楼层
可以用多台电脑登录同一个账号爬取,每个电脑多开几个爬虫群窗口
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-11-14 16:00:57 | 显示全部楼层
利用集搜客的爬虫群模式,多台电脑可以协同爬取
举报 使用道具
gooseeker_info 金牌会员 发表于 2016-11-14 20:13:32 | 显示全部楼层
运行爬虫群,可以跨电脑、跨地域,大批量分布式爬数据。如果批量很大,可以联系GooSeeker官方,购买专用的企业版
举报 使用道具
Fuller 管理员 发表于 2017-9-16 09:31:10 | 显示全部楼层
这里有 一篇专门的教程《怎样优化DS打数机的抓取速度
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬wish等瀑布流网站时使用清除老数据功能
  • 从淘宝的买家评论中,能挖掘出什么有用的信
  • 连续动作:如何把抓到的信息与动作步骤对应
  • 淘宝开店运营十大攻略
  • 深圳市咨询投诉分析

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-10-20 14:56