快捷导航
参考这个教程http://www.gooseeker.com/doc/article-373-1.html,抓取趣头条的内容http://home.qutoutiao.net/, 一开始还能往下滚,过了几十次之后就不会往下滚了,得人工用鼠标滚下去,才能接着自动滚,然后过会儿又停下来了。什么原因啊?

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-3-27 17:25

umsung 高级会员 发表于 2018-3-27 17:25:03 | 显示全部楼层
滚屏动作的总滚屏数设置为-1,就会一直滚屏直到滚完,每次滚屏数设置最好大于5

像头条这种无限滚屏的网页,越往下滚,内容越来越多,内存的占用越来越大,所以会越来越卡,那么执行到一定次数以后,就会内存耗用完
旗舰版有清楚老数据功能,当滚到下一屏的时候,前面已经抓取过的内容会被清空,就不会停止中断了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息
  • 批量爬取亚马逊商品价格、评论信息
  • 批量爬取eBay商品价格、销售情况信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-7-22 17:00