之前采集微博数据的时候,有提示登录微博账号,今天没有提示了,还需要登录吗?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2021-2-20 18:49

沙发
lan_1985 金牌会员 发表于 2020-5-7 15:29:04 | 只看该作者
1、之前采集有登陆过,电脑会记录的,在没有清缓存的情况下,不用再重新登录。
2、如果清缓存了,就需要重新登录了。登录方法:在集搜客浏览器中,进入微博页面登录即可。
3、每次跑数据前,最好确保是登录的,就算不提示,也可以按照第2步来登录,如果已登录,会显示出账号。
举报 使用道具
板凳
Dave希泽 初级会员 发表于 2020-5-7 16:07:22 | 只看该作者
lan_1985 发表于 2020-5-7 15:29
1、之前采集有登陆过,电脑会记录的,在没有清缓存的情况下,不用再重新登录。
2、如果清缓存了,就需要重 ...

哦,懂了,谢谢啦
举报 使用道具
地板
AlexyYoung 初级会员 发表于 2021-2-20 17:56:00 | 只看该作者
lan_1985 发表于 2020-5-7 15:29
1、之前采集有登陆过,电脑会记录的,在没有清缓存的情况下,不用再重新登录。
2、如果清缓存了,就需要重 ...

使用微博账号在爬新浪微博数据,会冻结微博账号吗? 频繁采集会冻结吗?
举报 使用道具
5#
Fuller 管理员 发表于 2021-2-20 18:47:40 | 只看该作者
AlexyYoung 发表于 2021-2-20 17:56
使用微博账号在爬新浪微博数据,会冻结微博账号吗? 频繁采集会冻结吗?
...

一台爬虫电脑登录一个微博账号,在一天之内爬的网页数量不要超过1万个网页,比如,微博关键词搜索,翻一页就算一个网页;又如,采集微博博主信息,每个博主要下载两页才能采集全。

如果要采集的数据特别多,那么就要用多台爬虫电脑,每一台登录不同的微博账号,可以购买旗舰版,旗舰版可以另外加电脑,最多20台电脑,再多就要购买VIP版了。

另外,每天最好清理一下缓存,重启爬虫软件,重新登录微博
举报 使用道具
6#
内容分析应用 金牌会员 发表于 2021-2-20 18:49:11 | 只看该作者
本帖最后由 内容分析应用 于 2021-2-20 18:59 编辑
AlexyYoung 发表于 2021-2-20 17:56
使用微博账号在爬新浪微博数据,会冻结微博账号吗? 频繁采集会冻结吗?
...

如果使用集搜客的微博工具箱快捷采集,目前我们还没有碰到冻结账号的情况, 微博工具箱和快捷采集的线程数和速度都是经过测试和验证过的,一般不会触发反爬。


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 14:05