本帖最后由 离离原上草 于 2019-5-30 17:51 编辑

我是旗舰版用户,可以同时开5台电脑采集微博,现在已经在1台电脑上开始采集了,怎样把其余4台电脑跑起来爬数据?
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-10-9 23:37

来自 5#
maomao 论坛元老 发表于 2020-9-18 19:07:07 | 只看该作者
本帖最后由 maomao 于 2020-10-9 18:16 编辑

现在集搜客又推出了功能更强大的数据管家,爬取数据。数据管家怎样开启其它4台电脑并行爬微博数据?

1. 在其它4台电脑下载安装数据管家,并登陆同一个集搜客账号。(会员中心和数据管家左下角的账号要一致。)


2. 在4台电脑的数据管家分别打开微博网站,登陆不同的微博账号。

3. 在4台电脑打开微博工具箱,点击启动采集,会自动弹出两个采集窗口(爬虫窗口),开始采集数据。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
沙发
maomao 论坛元老 发表于 2019-5-30 17:46:27 | 只看该作者
如果在用老版的爬虫,这样运行5台电脑:

一、首先在其余四台电脑下载安装集搜客爬虫软件。用同一个集搜客账号登录爬虫,并登录会员中心。然后在集搜客浏览器打开https://www.weibo.com,并且登录一个微博账号。

二、打开DS打数机


三、运行爬虫群







本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2019-5-30 22:10:00 | 只看该作者
要注意一下,每台电脑应该用不同的微博账号,爬数据太快小心被封号。在同一台电脑上,最多开两个爬虫群窗口,也是同样道理,太多窗口同时爬也有封号风险
举报 使用道具
地板
Fuller 管理员 发表于 2020-4-2 20:39:27 | 只看该作者
另外,还要注意一点,如果5台电脑是在同一个局域网中,爬虫调度的时候会区分不出来他们,就要给每台爬虫电脑起上不同的名字
用这个菜单设置爬虫名字


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
6#
Fuller 管理员 发表于 2020-9-18 23:23:32 | 只看该作者
maomao 发表于 2020-9-18 19:07
现在集搜客又推出了功能更强大的数据管家,爬取数据。在数据管家里,在这里设置爬虫群

用数据管家采集微博数据,使用微博采集工具箱中的所有工具,都不用专门配置爬虫群。在每个微博采集工具箱的界面上都有“启动采集”按钮,设置好采集任务以后,点击“启动采集”按钮,就会自动运行起来2个爬虫群窗口。

使用快捷采集工具也是类似的启动方法。
举报 使用道具
7#
laiyongling2017 中级会员 发表于 2020-10-9 19:00:30 | 只看该作者
你好,在数据管家里那怎么能看到是三台电脑同时在采呢?
举报 使用道具
8#
Fuller 管理员 发表于 2020-10-9 23:37:18 | 只看该作者
laiyongling2017 发表于 2020-10-9 19:00
你好,在数据管家里那怎么能看到是三台电脑同时在采呢?

如果同时运行了数据管家和爬虫软件,各占一个配额
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 20:38