集搜客GooSeeker网络爬虫

标题: 微博评论采集到的数据量比网页上显示的数字少 [打印本页]

作者: shenzhenwan10 时间: 2020-12-2 09:20
标题: 微博评论采集到的数据量比网页上显示的数字少
想问一下今天操作上的问题，我用微博工具箱的评论工具搜集微博评论信息时，找的微博网页上显示有一千多条评论，链接也没有错误，但是最后采集到的没有1千条，是怎么回事呀

作者: 内容分析应用 时间: 2020-12-2 09:22
采集微博时，要想尽量采集的多，有以下建议：
1.爬微博之前，一定要在集搜客浏览器登陆微博
2.网速要好，网速好，才能及时加载网页，把评论加载出来
3.计算机处理速度要快，这样才能及时把评论网页加载出来
4.采集量大了，要及时清缓存

作者: 内容分析应用 时间: 2020-12-2 09:25
一方面，微博网站能够浏览的评论可能只是部分，比如虽然看到评论数上万，可是能够实际浏览的可能不到千条，有些评论被屏蔽或者被删除了；
另一方面，weibo评论是瀑布流，不是翻页，很难说能采集多少。

比如下面这条博文，网页上显示的评论数是9979条，可实际查看时，微博网站总共只显示了436条评论[attach]13347[/attach]

[attach]13348[/attach]

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)