豆瓣数据采集攻略

豆瓣页面的组合采集攻略如下（绿框是页面名称，橙色字体是采集结果表中的网址字段）：

1、从“豆瓣_电影列表”展开采集更多页面信息

方法：从“豆瓣_电影列表”的数据表中，把“电影详情链接”这列的网址拷贝出来，然后点击“豆瓣_电影详情”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。


2、从“豆瓣_读书搜索列表”展开采集更多页面信息

方法：从“豆瓣_读书搜索列表”的数据表中，把“详情链接”这列的网址拷贝出来，然后点击“豆瓣_读书详情”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。


3、从“豆瓣小组_小组关键词搜索列表”展开采集更多页面信息

  

方法：从“豆瓣小组_小组关键词搜索列表”的数据表中，把“小组详情链接”这列的网址拷贝出来，然后点击“豆瓣小组_小组详情页面”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。


4、从“豆瓣小组_话题关键词搜索列表”展开采集更多页面信息

方法：从“豆瓣小组_话题关键词搜索列表”的数据表中，把“详情页面链接”这列的网址拷贝出来，然后点击“豆瓣小组_话题详情页面”的“输入多条网址”按钮，粘贴网址，就可以用后者实现批量数据采集。其它页面类似。



【附注】
在数据DIY上可以找到很多网站下不同页面的采集入口，只要与样例网址是相同级别的网页，就可以用该页面的采集入口采集数据。因此，如果从数据DIY某个页面采集到网址，那么就可以找到该网址对应页面的采集入口，把批量网址添加进去，这也是数据DIY的出发点，让用户可以组合任意页面进行批量采集。

下面以采集豆瓣电影短评为例介绍采集方法
1，下载新版集搜客数据管家，从左侧工具条进入快捷采集

例如要采集《唐人街探案3》影评：https://movie.douban.com/subject/27619748/comments?status=P
2，找到社交分类下豆瓣短评采集入口，输入要采集的作品链接，启动采集

数据采集完成，可以继续用集搜客文本分析做词云图、情感分析、社会网络关系分析。

词云图

社会网络关系图

情感分析