本帖最后由 2794244010 于 2024-2-6 19:45 编辑

第一级任务:关键词采集微博,批量获取博文地址
第二级任务:【微博爬取第二级】根据地址运行,获取微博评论区的用户的昵称、评论文本、评论中的表情
但是,第二级任务获取的评论很少,不符合实际数量。每次返回修改,原先内容映射过的字段都对应错误,任务直接报错。很多次都是这个情况。
有试过定位映射,但是class值不唯一,好像弄不了




举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2024-2-7 12:08

沙发
Fuller 管理员 发表于 2024-2-7 11:37:24 | 只看该作者

点击dom树中的对应每条评论的节点,你会发现,dom树中的节点顺序跟页面上显示的刚好是反的。如果定义样例规则采集多条评论,就会发现样例规则不适应反的顺序。我的截图红框中是生成的xpath,从第16个div开始采集,其实是最后一个div,按照dom顺序只能采集到一条。

但是,改用定位标志采集多条内容的方法,就可以避免这个问题。每条评论都有相同的class值,刚好作为定位标志。参看教程:https://www.gooseeker.com/doc/article-533-1.html
举报 使用道具
板凳
Fuller 管理员 发表于 2024-2-7 12:08:51 | 只看该作者
除了我上面说的问题以外,这个网页十分难采集,要想采集全,还要使用很多其他技巧。我建议直接使用微博采集工具箱中的评论采集工具
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-2 08:40