想抓取这条微博下所有评论里面的回复,但我运行起来都是采集失败,不知道问题在哪儿。求大神解答
https://weibo.com/3228016330/HnU ... t#_rnd1584160116734

com_微博评论回复,定义了第一级规则,连续动作点击Xpath偏好class定位,指向第二级规则com_回复
//*[@class='WB_text']/a[contains(text(), '共') and contains(text(), '条回复')]


第二级规则设置抓用户名和回复,采用样例复制
连续点击动作,指向自己,Xpath定位
//*[@class='WB_text']/a[contains(text(), '更多') and contains(text(), '条回复')]


点定位,偏好class,搜索输入//*[@class='list_ul']







举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2022-5-28 16:42

来自 2#
wangyong 版主 发表于 2021-8-17 11:31:27 | 只看该作者
本帖最后由 wangyong 于 2021-8-17 11:47 编辑

集搜客数据管家快捷采集可以直接采集微博评论和回复数据
操作步骤如下:
1,安装集搜客数据管家,从左侧工具条进入快捷采集

选择微博评论和回复数据采集,输入要采集的博文网址,例如:https://weibo.com/1749127163/KtG ... t#_rnd1629171626535,选择要采集的页数,点击“获取数据”启动采集任务添加成功后数据管家会自动启动采集。
2,在快捷采集管理中看到任务状态变为“已采集”后,点击打包按钮就可以下载Excel格式的数据了

3,数据展示:


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2020-3-14 13:18:08 | 只看该作者
可以直接使用快捷采集工具: https://www.gooseeker.com/res/da ... D%E9%87%87%E9%9B%86
举报 使用道具
地板
robingson 金牌会员 发表于 2022-1-25 22:26:06 | 只看该作者
wangyong 发表于 2021-8-17 11:31
在集搜客数据管家的快捷采集可以直接采集微博评论和回复数据
操作步骤如下:
1,安装集搜客数据管家,从左 ...

单个评论的回复采集不到吗?
举报 使用道具
5#
Fuller 管理员 发表于 2022-1-25 23:33:36 | 只看该作者
robingson 发表于 2022-1-25 22:26
单个评论的回复采集不到吗?

用这个快捷采集工具可以采集:https://www.gooseeker.com/res/rule_642.html

如果你没有采集成功,把网址发出来,我测试一下
举报 使用道具
6#
amaz_4 新手上路 发表于 2022-5-28 13:45:03 | 只看该作者
Fuller 发表于 2020-3-14 13:18
可以直接使用快捷采集工具: https://www.gooseeker.com/res/datadiy.html?category=%E7%A4%BE%E4%BA%A4&we ...

用这个爬是不是只能爬一级评论?如果要爬二级评论要怎么做呢?
举报 使用道具
7#
Fuller 管理员 发表于 2022-5-28 16:42:07 | 只看该作者
amaz_4 发表于 2022-5-28 13:45
用这个爬是不是只能爬一级评论?如果要爬二级评论要怎么做呢?

这个工具应该可以爬到评论下的所有回复,但是运行不太稳定。1. 首先在爬之前必须在爬虫浏览器中登录微博
2. 爬虫窗口要足够大,放大到最大
3. 网络要比较快
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 03:20