怎样采集微博50页以后的内容？

采集微博关键词搜索出来的数据，发现总共只有50页，但是搜索的关键词是“新冠疫情”明显不止这50页的数据，怎样能采集到更多呢？

微博的搜索页是每个搜索条件生成一条网址，一次搜索最多显示五十页的数据，我们可以通过集搜客微博关键词采集工具设置生成多次搜索条件来采集更多的数据。

在集搜客微博关键词搜索采集工具添加采集任务时，设置分段时间粒度

先设置要采集的时间范围，再设置分段时间粒度，在数据量很大的情况下，选择每小时为一个时间段。

按照设置爬虫会自动将关键词每小时生成一条网址：https://s.weibo.com/weibo/%25E6% ... 05-21-9&Refer=g

这样就能采集到50页以后的数据了

使用微博关键词采集工具需要安装集搜客数据管家，从左侧工具条进入

测试看看好不好用