【集微库】微博采集工具箱使用常见问题

上海垃圾分类 发表于 2020-2-11 15:21
好的谢谢

这会正在升级成V9.0.5，这个版本解决了采集微博评论的一个bug。以前版本，如果采集微博评论过程中遇到微博显示“没有更多评论了”，会造成爬虫软件挂起很久。V9.0.5解决了这个问题

阅读数，讨论数都是0，粉丝数也没有

519848657 发表于 2020-2-12 15:20
阅读数，讨论数都是0，粉丝数也没有

关键词搜索吗？阅读数、评论数和粉丝数这些数字都是后加载的，如果网络速度慢，或者微博网站慢都会影响到抓取。全部都没有抓到吗？

两个打数机只有一个在采集，另一个一直显示等待分配采集任务？

Jane243 发表于 2020-2-17 12:01
两个打数机只有一个在采集，另一个一直显示等待分配采集任务？

另一个也不要关闭，是在持续不断地将采下来的数据转换成excel。如果这个关闭了，只能等到那个采集窗口最后做一次转换，增加了失败的可能

采集数据的那个DS打数机窗口不要缩小，尽量最大化，不能最小化，如果还要做其他事情，这个窗口上可以覆盖其他窗口，就是不能缩小。微博这种动态网站，一旦窗口小到一定程度，就不显示网页内容了

好的，谢谢了

采集微博博主详细信息，为什么机构文件夹下是空的，确定有机构账户。

Jane243 发表于 2020-2-17 12:59
采集微博博主详细信息，为什么机构文件夹下是空的，确定有机构账户。

这个采集工具是支持机构采集的，你把失败的网址发出来我们看看，有没有特殊性没有考虑

Fuller 发表于 2020-2-17 13:38
这个采集工具是支持机构采集的，你把失败的网址发出来我们看看，有没有特殊性没有考虑
...

比如下面这些。应该不是网址问题，因为无论我添加多少条网址机构文件夹下面都是空的，之前我也用过这个功能当时就没问题。

https://weibo.com/1821577377?profile_ftype=1&is_all=1#_0

https://weibo.com/1965023140?profile_ftype=1&is_all=1#_0

https://weibo.com/2803301701?profile_ftype=1&is_all=1#_0

https://weibo.com/6026502015?profile_ftype=1&is_all=1#_0

https://weibo.com/2971325087?profile_ftype=1&is_all=1#_0

https://weibo.com/1798653494?profile_ftype=1&is_all=1#_0

https://weibo.com/2833534593?profile_ftype=1&is_all=1#_0

https://weibo.com/1655444627?profile_ftype=1&is_all=1#_0

https://weibo.com/2416967903?profile_ftype=1&is_all=1#_0

https://weibo.com/1751789332?profile_ftype=1&is_all=1#_0

https://weibo.com/1863460802?profile_ftype=1&is_all=1#_0

https://weibo.com/1963863007?profile_ftype=1&is_all=1#_0

https://weibo.com/1905837201?profile_ftype=1&is_all=1#_0

https://weibo.com/1410948431?profile_ftype=1&is_all=1#_0

https://weibo.com/1043320390?profile_ftype=1&is_all=1#_0

https://weibo.com/2458218133?profile_ftype=1&is_all=1#_0

https://weibo.com/1801817195?profile_ftype=1&is_all=1#_0

https://weibo.com/3552164111?profile_ftype=1&is_all=1#_0

https://weibo.com/1649173367?profile_ftype=1&is_all=1#_0

https://weibo.com/1642512402?profile_ftype=1&is_all=1#_0

https://weibo.com/2490325853?profile_ftype=1&is_all=1#_0

https://weibo.com/1668589317?profile_ftype=1&is_all=1#_0

https://weibo.com/1768470921?profile_ftype=1&is_all=1#_0

https://weibo.com/1926909715?profile_ftype=1&is_all=1#_0