想问一下今天操作上的问题,我用微博工具箱的评论工具搜集微博评论信息时,找的微博网页上显示有一千多条评论,链接也没有错误,但是最后采集到的没有1千条,是怎么回事呀
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-12-2 09:25

沙发
内容分析应用 金牌会员 发表于 2020-12-2 09:22:04 | 只看该作者
采集微博时,要想尽量采集的多,有以下建议:
1.爬微博之前,一定要在集搜客浏览器登陆微博
2.网速要好,网速好,才能及时加载网页,把评论加载出来
3.计算机处理速度要快,这样才能及时把评论网页加载出来
4.采集量大了,要及时清缓存
举报 使用道具
板凳
内容分析应用 金牌会员 发表于 2020-12-2 09:25:14 | 只看该作者
一方面,微博网站能够浏览的评论可能只是部分,比如虽然看到评论数上万,可是能够实际浏览的可能不到千条,有些评论被屏蔽或者被删除了;
另一方面,weibo评论是瀑布流,不是翻页,很难说能采集多少。

比如下面这条博文,网页上显示的评论数是9979条,可实际查看时,微博网站总共只显示了436条评论







本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-2-7 00:10