【集微库】微博采集工具箱使用常见问题

dnfer123 发表于 2016-12-6 12:17
建议将目前用户遇到的问题整理一个QA出来，另外就算网速慢，可以通过设置爬取速度，或者其他设置，保证数据 ...

目前这个工具，等待时间是统一的，所以，要是谁的网速慢就会遇到超时。如果要每人允许自己设定，就会使用起来变麻烦了。还有一个选择，就是下载规则市场中的微博抓取规则，这样就可以自己控制速度。

yangguangtaoke 发表于 2016-12-6 13:08
我想用抽样的方法来爬取粉丝数据，比如共有11页粉丝，那我爬取第1、11、21一直到91页的粉丝数据，有好方法 ...

微博把粉丝的爬取限制死了，其实总共只能爬30个，其他的不让访问，所以，根本也不用抽样了，全爬也没有多少

粉丝数据只能爬5页，能破吗？

可以爬微博全部粉丝数据吗，只能是5页吗？

碗豆荚 发表于 2016-12-10 15:54
可以爬微博全部粉丝数据吗，只能是5页吗？

这个限制目前无法突破，GooSeeker只能抓取能看到的内容，不能破解网站

关键词搜索工具抓取的数据是用户自己发的微博还是也包括用户转发的别人的微博？

skyler 发表于 2016-12-10 20:40
关键词搜索工具抓取的数据是用户自己发的微博还是也包括用户转发的别人的微博？ ...

只要能用关键词搜索到的，不论谁的，都抓取

您好，请问微博关键字搜索得到的数据只能通过打包下载的方式得到Excel形式的文件吗？不能在数据仓库中转换格式下载吗？

1554833267 发表于 2016-12-11 17:48
您好，请问微博关键字搜索得到的数据只能通过打包下载的方式得到Excel形式的文件吗？不能在数据仓库中转换 ...

数据数据量大，或者持续不断地运行，我们可以开放一个数据API，如果有这个需求，跟帖后有专人与你联系

为何我在抓取微博评论转发数据时输入博文独立网址后，点采集按钮，提示我至少输入一条微博独立网址，这是说我输入的独立网址无效吗？