快捷导航
我想每天采集中国青年网新闻频道首页的新闻列表(http://news.youth.cn/), 如下图说示,
20200730-01.png

没有翻页,只是页面下部有个“加载更多”,可以一直点下去。
这种情况做采集规则和每天运行爬虫应该怎么弄?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2020-7-30 10:13

内容分析应用 中级会员 发表于 2020-7-30 10:09:27 | 显示全部楼层
本帖最后由 内容分析应用 于 2020-7-30 10:17 编辑

这个“加载更多”,就可以当作一个普通的翻页, 规则是一样的, 参考这篇教程:翻页采集列表
不过有一点要注意:由于每页采集的内容都包含整个列表的新闻, 所有最后入库后的数据是有重复的, 可以根据title或者网址去重


举报 使用道具
马涌河畔 初级会员 发表于 2020-7-30 10:10:50 | 显示全部楼层
那爬的时候, 就一直点“加载更多”?  我每天执行点几次就够了
举报 使用道具
内容分析应用 中级会员 发表于 2020-7-30 10:13:20 | 显示全部楼层
用爬虫群窗口采集就可以自定义翻页次数,参考这篇帖子:怎样控制翻页数量?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-8-12 11:23