集搜客网络爬虫采集新浪微博评论的时候,如果在翻页过程中突然不显示微博评论,那是网络速度太慢或者微博网址反应太慢。但是,爬虫会一直在等,等很久很久都不结束,这是网络爬虫软件的一个bug。

2020年2月11日发布的V9.0.5版本解决了这个bug,请下载最新版本,提高采集速度。

下图是引起挂起的情况,可以看到网页上的进度标志一直旋转,就是不显示评论内容,有时候直接显示“没有评论”
微博评论20200211160814.png
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2020-2-11 16:16

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 18:25