参考这个教程http://www.gooseeker.com/doc/article-373-1.html,抓取趣头条的内容http://home.qutoutiao.net/, 一开始还能往下滚,过了几十次之后就不会往下滚了,得人工用鼠标滚下去,才能接着自动滚,然后过会儿又停下来了。什么原因啊?

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-3-27 17:25

umsung 高级会员 发表于 2018-3-27 17:25:03 | 显示全部楼层
滚屏动作的总滚屏数设置为-1,就会一直滚屏直到滚完,每次滚屏数设置最好大于5

像头条这种无限滚屏的网页,越往下滚,内容越来越多,内存的占用越来越大,所以会越来越卡,那么执行到一定次数以后,就会内存耗用完
旗舰版有清楚老数据功能,当滚到下一屏的时候,前面已经抓取过的内容会被清空,就不会停止中断了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 16:47