2 1769

微博评论区爬取

2794244010 于 2024-2-6 19:39 发表 [复制链接]
本帖最后由 2794244010 于 2024-2-6 19:45 编辑

第一级任务:关键词采集微博,批量获取博文地址
第二级任务:【微博爬取第二级】根据地址运行,获取微博评论区的用户的昵称、评论文本、评论中的表情
但是,第二级任务获取的评论很少,不符合实际数量。每次返回修改,原先内容映射过的字段都对应错误,任务直接报错。很多次都是这个情况。
有试过定位映射,但是class值不唯一,好像弄不了
QQ图片20240206193843.png

QQ图片20240206193853.png

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2024-2-7 12:08

Fuller 管理员 发表于 2024-2-7 11:37:24 | 显示全部楼层
定位标志207113216.png
点击dom树中的对应每条评论的节点,你会发现,dom树中的节点顺序跟页面上显示的刚好是反的。如果定义样例规则采集多条评论,就会发现样例规则不适应反的顺序。我的截图红框中是生成的xpath,从第16个div开始采集,其实是最后一个div,按照dom顺序只能采集到一条。

但是,改用定位标志采集多条内容的方法,就可以避免这个问题。每条评论都有相同的class值,刚好作为定位标志。参看教程:https://www.gooseeker.com/doc/article-533-1.html
举报 使用道具
Fuller 管理员 发表于 2024-2-7 12:08:51 | 显示全部楼层
除了我上面说的问题以外,这个网页十分难采集,要想采集全,还要使用很多其他技巧。我建议直接使用微博采集工具箱中的评论采集工具
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?
  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词

热门用户

GMT+8, 2024-6-23 21:56