快捷导航
3 297

微博评论抓取不全

jiejie0920 于 2021-6-9 19:23 发表 [复制链接]
为什么一个微博评论或转发抓取不全。比如评论有1000多条,只能抓取几百条,差距很大
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-6-9 20:01

Fuller 管理员 发表于 2021-6-9 19:27:32 | 显示全部楼层
抓取微博一定要有好的网络,现在很多校园网都不行,直接用电信的光纤是比较好的。

如果网络比较慢,用鼠标往下滚屏幕的时候,就会发现微博网页底下有个旋转的图标,一直旋转,出不来内容。

另外,微博网站本身也不稳定。

我曾经采集到4000条评论。如果一个微博有超过4000条,肯定就采不全了。有时候为了采集更多,我会采集好几次,使用最多的那一次
举报 使用道具
Fuller 管理员 发表于 2021-6-9 19:28:24 | 显示全部楼层
还有一个注意事项:要关了360,还有其他一些杀毒软件。这些杀毒软件会把网络速度拖的很慢
举报 使用道具
jiejie0920 新手上路 发表于 2021-6-9 20:01:26 | 显示全部楼层
Fuller 发表于 2021-6-9 19:27
抓取微博一定要有好的网络,现在很多校园网都不行,直接用电信的光纤是比较好的。

如果网络比较慢,用鼠标 ...

谢谢回复 可能是我们校园网太慢了 我关了杀毒软件试试
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 基于层次结构和共现关系的在线评论主题图谱
  • 基于因果机制的用户行为研究及应用
  • 改进的K近邻算法及其在文本分析中的应用
  • Jupyter Notebook使用Gensim库做中文Word2V
  • 基于Word2Vec的医学知识组织系统互操作研究

热门用户

GMT+8, 2021-9-19 03:17