快捷导航
4 642

抓取数据太快

carmen 于 2017-11-14 22:46 发表 [复制链接]
抓取数据太快,只能抓取页面前面的部分,后面的还没有抓取就到下一页了,请问需要怎样解决啊? 主题名“淘宝blackmores0611"
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-11-15 09:15

Fuller 管理员 发表于 2017-11-14 22:50:15 | 显示全部楼层
DS打数机菜单 配置-〉滚屏参数,滚屏次数设置成2,就能自动滚屏,可以防止抓取太快
举报 使用道具
carmen 初级会员 发表于 2017-11-14 23:03:59 | 显示全部楼层
滚屏次数跟滚屏速度都是2,现在还有火狐版本的吗,之前用火狐浏览器版本的是没有问题的。
举报 使用道具
carmen 初级会员 发表于 2017-11-15 08:35:35 | 显示全部楼层
Fuller 发表于 2017-11-14 22:50
DS打数机菜单 配置-〉滚屏参数,滚屏次数设置成2,就能自动滚屏,可以防止抓取太快 ...

滚屏次数跟滚屏速度都是2,现在还有火狐版本的吗,之前用火狐浏览器版本的是没有问题的。            
举报 使用道具
umsung 高级会员 发表于 2017-11-15 09:15:46 | 显示全部楼层
现在没有火狐版本了,用gs浏览器是一样的,把滚屏次数调大一点,滚屏速度调小一些,另外延迟抓取和超时时长都调大一些,在DS打数机菜单的配置中设置。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息
  • 批量爬取亚马逊商品价格、评论信息
  • 批量爬取eBay商品价格、销售情况信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-7-17 11:53