快捷导航
QQ图片20180930172725.png
有哪个教程讲这个
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2018-9-30 18:47

Fuller 管理员 发表于 2018-9-30 18:47:47 | 显示全部楼层
“载入更多”和“下一页”其实是类似的,他们都可以作为翻页标志,具体参看《翻页采集列表》这个教程。

但是可能还会有点区别。普通的下一页翻页,进入下一页以后,用下一页的内容全部替换了当前页的内容,而“载入更多”可能就不同了,点击一次会把新内容追加在后面,这样网页会越来越到,导致内存不够了。

如果网页会越来越大,那就采用连续点击动作,具体参看高级教程中的连续动作章节。教程首页:https://www.gooseeker.com/tuto/tutorial.html ,展开左栏能看到教程目录。定义连续动作的高级设置时,可以设置“清除老数据”,要填写一个xpath,这个xpath必须能定位到列表中的每条数据。那么爬虫在运行的时候,会根据这个xpath把列表中的数据进行删除,再追加更多数据。

清除老数据是旗舰版功能
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-10-16 08:01