【集微库】微博采集工具箱使用常见问题

gys199871 发表于 2021-8-2 16:51
可以爬取每篇微博的阅读量吗

微博的阅读量只有在自己的微博才显示

wangyong 发表于 2021-8-2 18:08
微博的阅读量只有在自己的微博才显示

我发现了 主要是做微博数据  已经自己新建任务爬取了 谢谢~

请问能否自定义进行爬取？比如只爬取某用户2021.7.1-8.1关于“某主题”的博文，请问如何操作？

请问能否自定义爬取微博博主数据？比如爬取某博主某段时间关于某主题的博文？如何操作

盏相思 发表于 2021-8-3 16:35
请问能否自定义爬取微博博主数据？比如爬取某博主某段时间关于某主题的博文？如何操作 ...

微博的高级搜索中可以设置搜索条件，将搜索完成后的链接添加到微博博主主页采集工具，可以实现特定条件下的博文采集
https://weibo.com/leijun?is_ori= ... p;is_searchadv=1#_0

请问怕评论爬了几次都是只爬了几十条就显示结束了，后面的是爬不到了吗

请问爬评论爬了几次都是几十条就显示结束了，想爬后面的怎么办

爬取之前，有没有在数据管家上登录微博？ 没登录的情况下显示的评论会比较少
你可以把你爬取的那条微博发出来我们测试下

50页之后的爬取不到了。按照要求设置了爬取间隔，依然无法爬取50页以后的内容。

louiselana 发表于 2021-9-5 18:53
50页之后的爬取不到了。按照要求设置了爬取间隔，依然无法爬取50页以后的内容。 ...

如果不设置时间间隔，那么一个关键词只搜索对应一条网址，最多只能爬取50页。
如果设置了爬取时间间隔，一个关键词搜索任务就自动生成多条网址，每条网址对应一个时间段，每条网址最多都可以爬取50页。
比如某天的微博，按每小时分段，就会爬取24条网址，理论上最大的爬取量是：50页*24=1200页。