采集微博关键词搜索出来的数据,发现总共只有50页,但是搜索的关键词是“新冠疫情”明显不止这50页的数据,怎样能采集到更多呢?
QQ截图20210521093000.png
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2021-5-21 10:30

wangyong 版主 发表于 2021-5-21 10:30:11 | 显示全部楼层
微博的搜索页是每个搜索条件生成一条网址,一次搜索最多显示五十页的数据,我们可以通过集搜客微博关键词采集工具设置生成多次搜索条件来采集更多的数据。

集搜客微博关键词搜索采集工具添加采集任务时,设置分段时间粒度
微博关键词按小时添加细分条件.png
先设置要采集的时间范围,再设置分段时间粒度,在数据量很大的情况下,选择每小时为一个时间段。

按照设置爬虫会自动将关键词每小时生成一条网址:https://s.weibo.com/weibo/%25E6% ... 05-21-9&Refer=g

这样就能采集到50页以后的数据了

使用微博关键词采集工具需要安装集搜客数据管家,从左侧工具条进入
数据管家-微博关键词1.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 05:45