微博关键词搜索某时间段微博,抓取几页就显示无线索了,微博抓取应该能翻页50页的呀,为什么只能抓取几页就停止了呢

举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2020-11-13 14:53

wangyong 版主 发表于 2020-11-13 14:53:48 | 显示全部楼层
在集搜客新发布的数据管家软件中使用集搜客微博工具箱微博关键词搜索工具,可以输入关键词直接采集数据,使用的规则是集搜客团队已开发好的准确规则 微博工具箱关键词搜索.png



输入关键词的同时也可以输入要采集的时间范围,同时用上细分条件这个功能,可以突破只能采集五十页数据的限制

关键词搜索使用.png

数据结果展示:
微博关键词搜索数据展示.png


使用过程中有什么问题或者其他建议欢迎跟帖交流~
举报 使用道具
umsung 高级会员 发表于 2017-10-20 17:26:39 | 显示全部楼层
爬取数据的时候有没有登陆微博?如果没有登陆的话就只能翻几页
举报 使用道具
娜娜子 新手上路 发表于 2017-10-20 22:47:48 | 显示全部楼层
登陆了微博的
举报 使用道具
Fuller 管理员 发表于 2017-10-21 08:57:43 | 显示全部楼层

网速怎么样?不要通过vpn或者proxy,这样会使网络不稳定
你要采集的网址是什么?
举报 使用道具
娜娜子 新手上路 发表于 2017-11-4 11:41:32 | 显示全部楼层
这个网址:http://s.weibo.com/weibo/%25E5%258C%25BB%25E6%2582%25A3?topnav=1&wvr=6&b=1
举报 使用道具
Fuller 管理员 发表于 2017-11-4 12:15:54 | 显示全部楼层
娜娜子 发表于 2017-11-4 11:41
这个网址:http://s.weibo.com/weibo/%25E5%258C%25BB%25E6%2582%25A3?topnav=1&wvr=6&b=1

这个关键词搜到的内容很多,要设置好时间段,分成多段,每段不要超过30页,这样就能比较全采集下来。你用微博采集工具箱的时候,时间段设置了多久?
举报 使用道具
娜娜子 新手上路 发表于 2017-11-4 15:50:49 | 显示全部楼层
Fuller 发表于 2017-11-4 12:15
这个关键词搜到的内容很多,要设置好时间段,分成多段,每段不要超过30页,这样就能比较全采集下来。你用 ...

没有设置时间呢,是参数那个吗?我分时段采集试过,它读取几页会输入验证码,有些采集两三页就没有了
举报 使用道具
Fuller 管理员 发表于 2017-11-4 16:40:59 | 显示全部楼层
娜娜子 发表于 2017-11-4 15:50
没有设置时间呢,是参数那个吗?我分时段采集试过,它读取几页会输入验证码,有些采集两三页就没有了
...

如果出验证码,说明你的IP已经被微博记下来了,需要:
1,清理爬虫的缓存。在GS浏览器的右上角,点击进入
清除所有20171104163821.png

2,换IP,如果是ADSL或者拨号上网,那么重新拨号就行

3,重新运行GS浏览器,访问和登录微博,再运行爬虫
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 07:02