快捷导航
抓取第二页时网页还没有加载完就停止抓取了,有xml文件输出,但第二页抓到的内容是空的(第一页有内容)。测试了一下,在滚屏速度设置为3以下时可以正常抓取,但如果速度高于3或者不滚屏,就会出现上述情况。
因为页数比较多,所以希望有一个不用减慢滚屏也能全部抓取的方法。



举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-8-7 15:06

wangyong 版主 发表于 2017-8-7 15:06:03 | 显示全部楼层
自动滚屏就是专门为抓取动态网页开发的功能

动态网页不自动滚屏数据不直接展示,只有打开滚屏功能,抓取时自动滚动页面才能成功抓取数据
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬wish等瀑布流网站时使用清除老数据功能
  • 从淘宝的买家评论中,能挖掘出什么有用的信
  • 连续动作:如何把抓到的信息与动作步骤对应
  • 淘宝开店运营十大攻略
  • 深圳市咨询投诉分析

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-10-21 05:39