51#
青椒美美 新手上路 发表于 2023-3-23 20:01:30 | 只看该作者
微博评论显示1200条,实际采集不到500条,请问这个问题该怎么处理啊?
举报 使用道具
52#
maomao 论坛元老 发表于 2023-3-23 20:06:06 | 只看该作者
青椒美美 发表于 2023-3-23 20:01
微博评论显示1200条,实际采集不到500条,请问这个问题该怎么处理啊?

微博网站能够浏览的评论可能只是部分,比如虽然看到评论数上万,可是能够实际浏览的可能不到千条;
而且,weibo评论是瀑布流,不是翻页,很难说能采集多少。

要想尽量采集的多,有以下建议:

1.爬微博之前,一定要在集搜客浏览器登陆微博
2.网速要好,网速好,才能及时加载网页,把评论加载出来
3.计算机处理速度要快,这样才能及时把评论网页加载出来
4.采集量大了,要及时清缓存

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 02:20