【集微库】微博采集工具箱使用常见问题

gz51837844 · 发表于 2021-9-2 15:08:06

爬取之前，有没有在数据管家上登录微博？没登录的情况下显示的评论会比较少
你可以把你爬取的那条微博发出来我们测试下

louiselana · 发表于 2021-9-5 18:53:42

50页之后的爬取不到了。按照要求设置了爬取间隔，依然无法爬取50页以后的内容。

gz51837844 · 发表于 2021-9-5 19:52:34

louiselana 发表于 2021-9-5 18:53
50页之后的爬取不到了。按照要求设置了爬取间隔，依然无法爬取50页以后的内容。 ...

如果不设置时间间隔，那么一个关键词只搜索对应一条网址，最多只能爬取50页。
如果设置了爬取时间间隔，一个关键词搜索任务就自动生成多条网址，每条网址对应一个时间段，每条网址最多都可以爬取50页。
比如某天的微博，按每小时分段，就会爬取24条网址，理论上最大的爬取量是：50页*24=1200页。

aicici · 发表于 2021-9-12 16:46:33

小白，设置了时间段，只能爬取50页，看是要设置时间间隔才能爬取更多，如何设置时间间隔呢

gz51837844 · 发表于 2021-9-12 22:49:27

aicici 发表于 2021-9-12 16:46
小白，设置了时间段，只能爬取50页，看是要设置时间间隔才能爬取更多，如何设置时间间隔呢 ...

对于微博关键词搜索工具，比如我要采集关键词”新冠“， 9月1日至9月12日，下图的设置，会自动按每个小时去采集，也就是理论上每小时最多可以采集50页

gz51837844 · 发表于 2021-9-12 22:51:06

陈陈不忧桑 · 发表于 2021-9-13 14:18:46

我想问一下怎么爬取分省的数据呀，微博把分省的功能关闭了

gz51837844 · 发表于 2021-9-13 14:55:42

陈陈不忧桑发表于 2021-9-13 14:18
我想问一下怎么爬取分省的数据呀，微博把分省的功能关闭了

以前可以通过高级搜索，或者在网址里添加省市参数，来实现按地区爬取。现在微博关闭了这个功能，微博工具箱目前也不支持按省爬取

EstherZzzz · 发表于 2021-10-27 10:57:01

请问多个关键词的爬取怎么总是失败啊？用逗号隔开也没有用，只爬了第一个关键词，如果直接把两个词合在一起也不行

内容分析应用 · 发表于 2021-10-27 12:01:39

理论上讲，添加多个关键词，每个关键词会添加1条单独对应的爬取网址，关键词之间是互不干扰的。
你爬取失败的是哪几个关键词？发出来我们测试下

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页