1011#
Fuller 管理员 发表于 2020-2-11 15:45:45 | 只看该作者

这会正在升级成V9.0.5,这个版本解决了采集微博评论的一个bug。以前版本,如果采集微博评论过程中遇到微博显示“没有更多评论了”,会造成爬虫软件挂起很久。V9.0.5解决了这个问题
举报 使用道具
1012#
519848657 新手上路 发表于 2020-2-12 15:20:48 | 只看该作者
阅读数,讨论数都是0,粉丝数也没有
举报 使用道具
1013#
Fuller 管理员 发表于 2020-2-12 16:00:19 | 只看该作者
519848657 发表于 2020-2-12 15:20
阅读数,讨论数都是0,粉丝数也没有

关键词搜索吗?阅读数、评论数和粉丝数这些数字都是后加载的,如果网络速度慢,或者微博网站慢都会影响到抓取。全部都没有抓到吗?
举报 使用道具
1014#
Jane243 中级会员 发表于 2020-2-17 12:01:37 | 只看该作者
两个打数机只有一个在采集,另一个一直显示等待分配采集任务?
举报 使用道具
1015#
Fuller 管理员 发表于 2020-2-17 12:03:07 | 只看该作者
Jane243 发表于 2020-2-17 12:01
两个打数机只有一个在采集,另一个一直显示等待分配采集任务?

另一个也不要关闭,是在持续不断地将采下来的数据转换成excel。如果这个关闭了,只能等到那个采集窗口最后做一次转换,增加了失败的可能
举报 使用道具
1016#
Fuller 管理员 发表于 2020-2-17 12:04:12 | 只看该作者
采集数据的那个DS打数机窗口不要缩小,尽量最大化,不能最小化,如果还要做其他事情,这个窗口上可以覆盖其他窗口,就是不能缩小。微博这种动态网站,一旦窗口小到一定程度,就不显示网页内容了
举报 使用道具
1017#
Jane243 中级会员 发表于 2020-2-17 12:26:15 | 只看该作者
好的,谢谢了
举报 使用道具
1018#
Jane243 中级会员 发表于 2020-2-17 12:59:17 | 只看该作者
采集微博博主详细信息,为什么机构文件夹下是空的,确定有机构账户。
举报 使用道具
1019#
Fuller 管理员 发表于 2020-2-17 13:38:04 | 只看该作者
Jane243 发表于 2020-2-17 12:59
采集微博博主详细信息,为什么机构文件夹下是空的,确定有机构账户。

这个采集工具是支持机构采集的,你把失败的网址发出来我们看看,有没有特殊性没有考虑
举报 使用道具
1020#
Jane243 中级会员 发表于 2020-2-17 14:06:32 | 只看该作者
Fuller 发表于 2020-2-17 13:38
这个采集工具是支持机构采集的,你把失败的网址发出来我们看看,有没有特殊性没有考虑
...

比如下面这些。应该不是网址问题,因为无论我添加多少条网址机构文件夹下面都是空的,之前我也用过这个功能当时就没问题。
https://weibo.com/1821577377?profile_ftype=1&is_all=1#_0
https://weibo.com/1965023140?profile_ftype=1&is_all=1#_0
https://weibo.com/2803301701?profile_ftype=1&is_all=1#_0
https://weibo.com/6026502015?profile_ftype=1&is_all=1#_0
https://weibo.com/2971325087?profile_ftype=1&is_all=1#_0
https://weibo.com/1798653494?profile_ftype=1&is_all=1#_0
https://weibo.com/2833534593?profile_ftype=1&is_all=1#_0
https://weibo.com/1655444627?profile_ftype=1&is_all=1#_0
https://weibo.com/2416967903?profile_ftype=1&is_all=1#_0
https://weibo.com/1751789332?profile_ftype=1&is_all=1#_0
https://weibo.com/1863460802?profile_ftype=1&is_all=1#_0
https://weibo.com/1963863007?profile_ftype=1&is_all=1#_0
https://weibo.com/1905837201?profile_ftype=1&is_all=1#_0
https://weibo.com/1410948431?profile_ftype=1&is_all=1#_0
https://weibo.com/1043320390?profile_ftype=1&is_all=1#_0
https://weibo.com/2458218133?profile_ftype=1&is_all=1#_0
https://weibo.com/1801817195?profile_ftype=1&is_all=1#_0
https://weibo.com/3552164111?profile_ftype=1&is_all=1#_0
https://weibo.com/1649173367?profile_ftype=1&is_all=1#_0
https://weibo.com/1642512402?profile_ftype=1&is_all=1#_0
https://weibo.com/2490325853?profile_ftype=1&is_all=1#_0
https://weibo.com/1668589317?profile_ftype=1&is_all=1#_0
https://weibo.com/1768470921?profile_ftype=1&is_all=1#_0
https://weibo.com/1926909715?profile_ftype=1&is_all=1#_0


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-24 02:33