求助！微博评论采集，如何一次性采集1000条以上？

试了很久，最高的一次是600条，都没有超过1000条的（目标评论区评论数有11.2万）
如何一次性采集1000条以上评论？

微博评论能够看到的数量是比较少的。比如虽然网页上某条博文有3w条评论，但是实际能浏览的只有几百条（甚至是0条）。
采集的时候，注意观察爬虫窗口，如果网页已经加载到底了，那确实只有这么多。

想要一次性采集1000条以上评论，首先需要网页可以公开看到1000条评论。

Fuller 发表于 2024-10-10 22:42
微博评论能够看到的数量是比较少的。比如虽然网页上某条博文有3w条评论，但是实际能浏览的只有几百条（甚至 ...

那我如何计算评论区到底有多少评论呀？假设我真的划到抵了，我也估计不出来呀/(ㄒoㄒ)

1224365770 发表于 2024-10-10 22:44
那我如何计算评论区到底有多少评论呀？假设我真的划到抵了，我也估计不出来呀/(ㄒoㄒ)
...

估计不出来，要在采集中观察，如果滚一会屏不往下显示了就到底了

采集的时候，注意观察爬虫窗口，如果网页已经加载到底了，打包看看有多少条。这个数字应该是网页上实际的评论数

Fuller 发表于 2024-10-10 23:08
采集的时候，注意观察爬虫窗口，如果网页已经加载到底了，打包看看有多少条。这个数字应该是网页上实际的评 ...

这是因为微博反爬吗？为什么显示只有这么一点点呀？/(ㄒoㄒ)/~~

1224365770 发表于 2024-10-11 08:59
这是因为微博反爬吗？为什么显示只有这么一点点呀？/(ㄒoㄒ)/~~

微博做了一些限制，或者是微博有删评论的情况，或者是博主设定了可见范围。评论比较热的一般都有下载不全的问题

Fuller 发表于 2024-10-11 09:59
微博做了一些限制，或者是微博有删评论的情况，或者是博主设定了可见范围。评论比较热的一般都有下载不全 ...

好的，谢谢你