快捷导航
0 5795

豆瓣数据采集攻略

scraper 于 2016-12-30 11:31 发表 [复制链接]
豆瓣页面的组合采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段):

1、从“豆瓣_电影列表”展开采集更多页面信息
方法:从“豆瓣_电影列表”的数据表中,把“电影详情链接”这列的网址拷贝出来,然后点击“豆瓣_电影详情”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


2、从“豆瓣_读书搜索列表”展开采集更多页面信息
方法:从“豆瓣_读书搜索列表”的数据表中,把“详情链接”这列的网址拷贝出来,然后点击“豆瓣_读书详情”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


3、从“豆瓣小组_小组关键词搜索列表”展开采集更多页面信息
  
方法:从“豆瓣小组_小组关键词搜索列表”的数据表中,把“小组详情链接”这列的网址拷贝出来,然后点击“豆瓣小组_小组详情页面”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


4、从“豆瓣小组_话题关键词搜索列表”展开采集更多页面信息
方法:从“豆瓣小组_话题关键词搜索列表”的数据表中,把“详情页面链接”这列的网址拷贝出来,然后点击“豆瓣小组_话题详情页面”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。



【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2020-8-1 17:30

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-10-2 00:14