微博评论采集不完

用微博采集工具箱爬取微博评论的时候，采集到第51页的时候打数机就不显示后面的评论了，试了好几次都是这样，请问怎么解决啊

稍等，我让技术检查一下，看看是不是他们做了限制

我们技术人员检查了，我们的爬虫软件没有做限制，我估计你的采集任务在翻页到51页的时候，微博网站没有及时显示评论内容，导致爬虫中断了

Fuller 发表于 2020-3-7 16:37
我们技术人员检查了，我们的爬虫软件没有做限制，我估计你的采集任务在翻页到51页的时候，微博网站没有及时 ...

嗯，那请问为什么会这样，怎么解决这个问题啊

你添加的链接是什么？

maomao 发表于 2020-3-7 16:50
你添加的链接是什么？

你说的链接指的是什么？

zwh0818 发表于 2020-3-7 17:03
你说的链接指的是什么？

就是微博的网址

Fuller 发表于 2020-3-7 17:40
就是微博的网址

我添加的就是博文的独立网址啊

Fuller 发表于 2020-3-7 17:40
就是微博的网址

采集到的51页的时候就显示这样

zwh0818 发表于 2020-3-7 17:55
采集到的51页的时候就显示这样

这种经常会遇到，有多个原因：
1，当时新浪微博比较忙，显示不出来
2，虽然显示说有很多评论，但是，很多评论内容被屏蔽了，不给显示