快捷导航
4 517

怎么提高抓取速度

TonyJiang 于 2016-11-14 10:43 发表 [复制链接]
抓大量数据的时候,有些什么办法能提高抓取速度的
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-9-16 09:31

quyixuan 版主 发表于 2016-11-14 10:45:36 | 显示全部楼层
可以用多台电脑登录同一个账号爬取,每个电脑多开几个爬虫群窗口
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-11-14 16:00:57 | 显示全部楼层
利用集搜客的爬虫群模式,多台电脑可以协同爬取
举报 使用道具
gooseeker_info 金牌会员 发表于 2016-11-14 20:13:32 | 显示全部楼层
运行爬虫群,可以跨电脑、跨地域,大批量分布式爬数据。如果批量很大,可以联系GooSeeker官方,购买专用的企业版
举报 使用道具
Fuller 管理员 发表于 2017-9-16 09:31:10 | 显示全部楼层
这里有 一篇专门的教程《怎样优化DS打数机的抓取速度
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-12-18 18:45