微博关键词搜索某时间段微博，抓取几页就停止了

微博关键词搜索某时间段微博，抓取几页就显示无线索了，微博抓取应该能翻页50页的呀，为什么只能抓取几页就停止了呢

在集搜客新发布的数据管家软件中使用集搜客微博工具箱的微博关键词搜索工具，可以输入关键词直接采集数据，使用的规则是集搜客团队已开发好的准确规则



输入关键词的同时也可以输入要采集的时间范围，同时用上细分条件这个功能，可以突破只能采集五十页数据的限制



数据结果展示：



使用过程中有什么问题或者其他建议欢迎跟帖交流~

爬取数据的时候有没有登陆微博？如果没有登陆的话就只能翻几页

登陆了微博的

娜娜子 发表于 2017-10-20 22:47
登陆了微博的

网速怎么样？不要通过vpn或者proxy，这样会使网络不稳定
你要采集的网址是什么？

这个网址：http://s.weibo.com/weibo/%25E5%258C%25BB%25E6%2582%25A3?topnav=1&wvr=6&b=1

娜娜子 发表于 2017-11-4 11:41
这个网址：http://s.weibo.com/weibo/%25E5%258C%25BB%25E6%2582%25A3?topnav=1&wvr=6&b=1

这个关键词搜到的内容很多，要设置好时间段，分成多段，每段不要超过30页，这样就能比较全采集下来。你用微博采集工具箱的时候，时间段设置了多久？

Fuller 发表于 2017-11-4 12:15
这个关键词搜到的内容很多，要设置好时间段，分成多段，每段不要超过30页，这样就能比较全采集下来。你用 ...

没有设置时间呢，是参数那个吗？我分时段采集试过，它读取几页会输入验证码，有些采集两三页就没有了

娜娜子 发表于 2017-11-4 15:50
没有设置时间呢，是参数那个吗？我分时段采集试过，它读取几页会输入验证码，有些采集两三页就没有了
...

如果出验证码，说明你的IP已经被微博记下来了，需要：
1，清理爬虫的缓存。在GS浏览器的右上角，点击进入


2，换IP，如果是ADSL或者拨号上网，那么重新拨号就行

3，重新运行GS浏览器，访问和登录微博，再运行爬虫