集搜客GooSeeker网络爬虫 › 官方文档 ›资讯 › 查看内容

新浪微博数据采集攻略

2016-12-28 16:45| 发布者: gz51837844| 查看: 9535| 评论: 35|原作者: ym

摘要: 新浪微博页面的组合采集攻略如下（绿框是页面名称，橙色字体是采集结果表中的网址字段）： 1、从“微博关键词搜索结果”展开采集更多页面信息方法：从“微博关键词搜索结果”的数据表中，把“博主主页”这列的网 ...

新浪微博页面的组合采集攻略如下（绿框是页面名称，橙色字体是采集结果表中的网址字段）：

1、从“微博关键词搜索结果”展开采集更多页面信息

方法：从“微博关键词搜索结果”的数据表中，把“博主主页”这列的网址拷贝出来，然后点击“微博博主主页”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。

2、从“微博话题广场”展开采集更多页面信息

方法：从“微博话题广场”的数据表中，把“博主主页”这列的网址拷贝出来，然后点击“微博博主主页”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。

3、从“微博转发&评论内容”展开采集更多页面信息

方法：从“微博转发&评论内容”的数据表中，把“博主主页”这列的网址拷贝出来，然后点击“微博博主主页”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。

4、从“微博粉丝与关注者资料”展开采集更多页面信息

方法：从“微博粉丝与关注者资料”的数据表中，把“主页链接”这列的网址拷贝出来，然后点击“微博博主主页”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。

5、从“微博博主主页”展开采集更多页面信息

方法：从“微博博主主页”的数据表中，把“博文独立网址”这列的网址拷贝出来，然后点击“微博转发&评论内容”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。

【附注】
在数据DIY上可以找到很多网站下不同页面的采集入口，只要与样例网址是相同级别的网页，就可以用该页面的采集入口采集数据。因此，如果从数据DIY某个页面采集到网址，那么就可以找到该网址对应页面的采集入口，把批量网址添加进去，这也是数据DIY的出发点，让用户可以组合任意页面进行批量采集。

鲜花

握手

雷人

路过

鸡蛋

收藏邀请

上一篇：推荐一款简单易用的在线中文分词工具下一篇：连续动作概念：掌握JS动态网页信息采集

最新评论

评论 1548348930 2020-2-18 11:12: 点赞数据收集连翻页都翻不了？？

评论 Fuller 2020-2-18 11:17: 1548348930 发表于 2020-2-18 11:12
点赞数据收集连翻页都翻不了？？

你在集搜客浏览器上登录了微博没有？要在爬虫浏览器上登录微博，不是别的浏览器

另外，是不是爬太多了？如果爬太多了，就要清除cookie和缓存，有两种方法，参看这个帖子：https://www.gooseeker.com/doc/thread-4503-1-1.html

如果电脑安装了安全卫士，安全卫士的在线查杀会大幅度降低网页访问速度，尝试关掉安全卫士，比如360.

爬虫运行的时候，观察爬虫的窗口，看看点赞有没有显示出来？

另外，DS打数机窗口一定要放大到最大，不然的话，微博不给显示的。如果还要做其他事情，可以在DS打数机窗口上覆盖其他窗口，但是，就是不能最小化

评论 zka123 2020-4-13 10:37: 微博有7000多个赞，只爬到了40多个人，怎么回事啊

评论 Fuller 2020-4-13 10:50: zka123 发表于 2020-4-13 10:37
微博有7000多个赞，只爬到了40多个人，怎么回事啊

点赞人采集不了多少，因为微博有限制

评论 zka123 2020-4-13 10:57: 我用的是新浪微博点赞数据采集，但采集的是评论的人，怎么回事

评论 ym 2020-4-13 11:40: zka123 发表于 2020-4-13 10:57
我用的是新浪微博点赞数据采集，但采集的是评论的人，怎么回事

《新浪微博点赞数据采集》爬取的就是点赞过的微博用户，工具页面底部有示例数据的结构，你可以核对下，如果还有问题，请把这个微博网址发出来和数据表发出来，我们这边测试看看是什么问题。

评论大杯炒酸奶 2020-5-14 20:14: 怎么爬取微博签到数据

评论 maomao 2020-5-14 23:41: 大杯炒酸奶发表于 2020-5-14 20:14
怎么爬取微博签到数据

用集搜客快捷工具

weibo签到快捷工具.png (136.93 KB, 下载次数: 0)

下载附件

2020-5-14 23:41 上传

评论低频词汇 2020-6-22 22:37: 怎么爬取被@的数据

评论 Fuller 2020-6-22 22:57: 低频词汇发表于 2020-6-22 22:37
怎么爬取被@的数据

把一条微博的所有转发都采集下来，导出数据以后，在excel中根据@符号就行查找。

评论 laiyongling2017 2020-10-7 14:40: 我如果想爬取某个关键词某个时间段内转发最多的微博，怎么爬取，怎么排序？

评论 Fuller 2020-10-7 15:55: laiyongling2017 发表于 2020-10-7 14:40
我如果想爬取某个关键词某个时间段内转发最多的微博，怎么爬取，怎么排序？ ...

没法排序，只能把这个时间段内的所有微博爬下来，导出数据以后，在excel中，根据转发数排序

评论 zhuoning 2020-10-16 16:55: 爬取一个微博下面的评论区，数据应该有10万＋，可是为啥只能爬取到84条嘞..求助~

评论 Fuller 2020-10-16 17:03: zhuoning 发表于 2020-10-16 16:55
爬取一个微博下面的评论区，数据应该有10万＋，可是为啥只能爬取到84条嘞..求助~ ...

一定要登录了以后再爬，另外，爬虫运行的时候，不要缩小窗口。还有就是要手工打开这个微博看看，翻着看看能看到的评论数量是不是只有84条。有些微博虽然有很多评论，但是不让看，那么也采集不下来。

用集搜客新出的数据管家软件采集微博应该更方便一些：https://www.gooseeker.com/pro/product_note_firefox.html

评论 Ly20201109 2020-12-17 22:37: 怎么爬取微博转发者之间的关系啊？不是转发数量

评论 Fuller 2020-12-18 09:02: Ly20201109 发表于 2020-12-17 22:37
怎么爬取微博转发者之间的关系啊？不是转发数量

把某一条微博下的所有转发抓下来，就得到了这条微博的作者跟第一层转发者的关系。然后把转发微博的网址拿出来，再采集他的转发，就得到了第二层转发关系。一层层做，最后没有转发的了，就完成了

评论 Ly20201109 2020-12-18 11:34: Fuller 发表于 2020-12-18 09:02
把某一条微博下的所有转发抓下来，就得到了这条微博的作者跟第一层转发者的关系。然后把转发微博的网址拿 ...

只能自己一层层手动复制网址吗？不可以自动抓取吗？

评论 Fuller 2020-12-18 11:45: Ly20201109 发表于 2020-12-18 11:34
只能自己一层层手动复制网址吗？不可以自动抓取吗？

完全自动的要定制开发。手动的工作量也不太大，上一轮采集结果导出成excel格式，把excel表中的网址一次选中，拷贝到下一轮的任务中。

数据采集量很大的时候，可以把定制开发任务委托给我们做

评论 freya_614 2021-6-24 06:22: 怎么爬@相关人的数据呢

查看全部评论(35)

新浪微博数据采集攻略

相关阅读

最新评论

相关分类

下级分类

热门排行