参考这个教程http://www.gooseeker.com/doc/article-373-1.html,抓取趣头条的内容http://home.qutoutiao.net/, 一开始还能往下滚,过了几十次之后就不会往下滚了,得人工用鼠标滚下去,才能接着自动滚,然后过会儿又停下来了。什么原因啊?

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-3-27 17:25

沙发
umsung 高级会员 发表于 2018-3-27 17:25:03 | 只看该作者
滚屏动作的总滚屏数设置为-1,就会一直滚屏直到滚完,每次滚屏数设置最好大于5

像头条这种无限滚屏的网页,越往下滚,内容越来越多,内存的占用越来越大,所以会越来越卡,那么执行到一定次数以后,就会内存耗用完
旗舰版有清楚老数据功能,当滚到下一屏的时候,前面已经抓取过的内容会被清空,就不会停止中断了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 00:24