快捷导航
0 2501

新浪微博数据采集攻略

ym 于 2016-12-20 11:18 发表 [复制链接]
本帖最后由 ym 于 2016-12-20 11:24 编辑

新浪微博页面的组合采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段):

1、从“微博关键词搜索结果”展开采集更多页面信息

方法:从“微博关键词搜索结果”的数据表中,把“博主主页”这列的网址拷贝出来,然后点击“微博博主主页”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


2、从“微博话题广场”展开采集更多页面信息

方法:从“微博话题广场”的数据表中,把“博主主页”这列的网址拷贝出来,然后点击“微博博主主页”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。

3、从“微博转发&评论内容”展开采集更多页面信息

方法:从“微博转发&评论内容”的数据表中,把“博主主页”这列的网址拷贝出来,然后点击“微博博主主页”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。

4、从“微博粉丝与关注者资料”展开采集更多页面信息
方法:从“微博粉丝与关注者资料”的数据表中,把“主页链接”这列的网址拷贝出来,然后点击“微博博主主页”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。

5、从“微博博主主页”展开采集更多页面信息
方法:从“微博博主主页”的数据表中,把“博文独立网址”这列的网址拷贝出来,然后点击“微博转发&评论内容”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。

【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2016-12-20 11:18

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 城市要素库时空分析系统开发设计要点
  • 用GooSeeker爬虫实现自动点击抓取淘宝sku库
  • 城市要素库时空分析系统建设思路
  • 用Excel Power Map作招聘数据分析和空间可
  • 如何完整抓取搜狐新闻文章?

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-4-23 21:26