4 11933

抓取数据太快

carmen 于 2017-11-14 22:46 发表 [复制链接]
抓取数据太快,只能抓取页面前面的部分,后面的还没有抓取就到下一页了,请问需要怎样解决啊? 主题名“淘宝blackmores0611"
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-11-15 09:15

Fuller 管理员 发表于 2017-11-14 22:50:15 | 显示全部楼层
DS打数机菜单 配置-〉滚屏参数,滚屏次数设置成2,就能自动滚屏,可以防止抓取太快
举报 使用道具
carmen 中级会员 发表于 2017-11-14 23:03:59 | 显示全部楼层
滚屏次数跟滚屏速度都是2,现在还有火狐版本的吗,之前用火狐浏览器版本的是没有问题的。
举报 使用道具
carmen 中级会员 发表于 2017-11-15 08:35:35 | 显示全部楼层
Fuller 发表于 2017-11-14 22:50
DS打数机菜单 配置-〉滚屏参数,滚屏次数设置成2,就能自动滚屏,可以防止抓取太快 ...

滚屏次数跟滚屏速度都是2,现在还有火狐版本的吗,之前用火狐浏览器版本的是没有问题的。            
举报 使用道具
umsung 高级会员 发表于 2017-11-15 09:15:46 | 显示全部楼层
现在没有火狐版本了,用gs浏览器是一样的,把滚屏次数调大一点,滚屏速度调小一些,另外延迟抓取和超时时长都调大一些,在DS打数机菜单的配置中设置。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 14:57