【集微库】微博采集工具箱使用常见问题

hanxiao123 发表于 2017-11-21 21:22
一直是等待分配采集任务，折腾一晚上都没用，好郁闷，而且微博已经登录了！！ ...

注意检查一下帐号：登录网络爬虫的帐号和登录gooseeker网站的帐号是否是同一个。

第一次运行网络爬虫软件的时候，会提示输入帐号。登录www.gooseeker.com和微博工具箱的时候，也会提示输入帐号。如果这两个帐号不一样，那么爬虫就拿不到任务。

检查爬虫的帐号的方法：运行集搜客网络爬虫软件。点击下图的按钮就能显示出菜单，选择菜单 配置-〉帐号管理

采集结束不能打包数据是为什么

chamberlain 发表于 2017-11-25 09:16
采集结束不能打包数据是为什么

你用的是那个微博工具？关键词吗？

maomao 发表于 2017-11-25 09:26
你用的是那个微博工具？关键词吗？

是的

chamberlain 发表于 2017-11-25 10:31
是的

上午出现了一次用量高峰，造成了任务堆积，很多入库任务在排队，现在应该好了。

如果还没有入库，可以再加一个关键词，就会再次激发入库操作

请问，现有2000个微博博主的主页，怎么爬取这些微博博主与我共同关注的账号？

mlpokjn 发表于 2017-11-25 20:23
请问，现有2000个微博博主的主页，怎么爬取这些微博博主与我共同关注的账号？ ...

因为微博限制了看关注者的数量，所以，能找到的共同关注会很少

maomao 发表于 2017-11-25 21:15
因为微博限制了看关注者的数量，所以，能找到的共同关注会很少

对对，是的，爬取博主的关注者只能爬取前五页。我知道啦，谢谢！

maomao 发表于 2017-11-25 21:15
因为微博限制了看关注者的数量，所以，能找到的共同关注会很少

但是，比如我就关注了1个账号，那么我与博主的共同关注要么是1，要么是0。博主首页会显示我俩的共同关注。请问，我怎么做，才能爬取下来我与2000个博主的共同关注的内容呢？
我现在是采集了2000个博主的主页，就是想知道他们是不是都与我共同关注了某个账号。
谢谢！

mlpokjn 发表于 2017-11-26 21:22
但是，比如我就关注了1个账号，那么我与博主的共同关注要么是1，要么是0。博主首页会显示我俩的共同关注。 ...

在博主主页点击关注量就可以看到共同关注量，点击共同关注量就可以看到共同关注的内容。因为每一个页面都有独立的网址，可以使用层级采集。
1，第一级规则抓取微博博主主页上“关注量”的链接，对应到第二级
2，第二级规则抓取关注量页面上“共同关注量”的链接，对应第三级规则
3，第三级规则抓取“共同关注量”页面上的内容。