如何使用快捷采集-以豆瓣影评数据采集为例

2021-6-24 18:31| 发布者: Fuller| 查看: 11948| 评论: 0

摘要: 集搜客针对不同的网站(网页)提供了很多快捷采集工具,添加链接或者关键词,就可以采集数据,不需要做采集规则,非常简单快捷。我们以豆瓣电影影评采集为例,讲解快捷采集的使用过程。1. 首先下载安装Gooseeker数据 ...

集搜客针对不同的网站(网页)提供了很多快捷采集工具,添加链接或者关键词,就可以采集数据,不需要做采集规则,非常简单快捷。

我们以豆瓣电影影评采集为例,讲解快捷采集的使用过程。


1. 首先下载安装Gooseeker数据管家(增强版爬虫软件)

数据管家实际是一个特殊的浏览器,具有爬虫功能和数据分析功能的浏览器。

安装完毕,数据管家会自启动。

关闭数据管家后,要再次启动,可双击桌面上的数据管家图标。

2. 在Gooseeker数据管家,打开集搜客官网https://www.gooseeker.com

登陆爬虫,登陆会员中心(注意爬虫账号和会员中心账号一定要一致),并检查是否已经连上服务器(绿勾连接,红勾未连接)。

3. 进入快捷采集

点击数据管家左侧边栏的“快”按钮,进入快捷采集。

4. 选择合适的快捷工具

根据要采集的网页,选择 类别 - 网站 - 网页。

比如要采集豆瓣影评列表页面,选择 社交 – 豆瓣 – 豆瓣_电影影评

如下图所示,选择了快捷工具后,可以打开示例页面看看,确保后面操作时,添加的链接和示例页面类似。或者浏览网页下方的示例数据,进一步了解选定的快捷工具所采集到的数据是否满足要求。

针对不同的豆瓣页面,有很多快捷工具,比如,豆瓣_电影短评豆瓣读书豆瓣小组_小组关键词搜索列表豆瓣用户等等,大家可以根据需要选取。


5. 操作步骤

我们以豆瓣_电影影评工具为例,讲解操作过程。

6.1 粘贴网址,启动采集

比如我们要采集电影《哆啦A梦:伴我同行2》的影评列表,在豆瓣网站上,用Ctrl+c 复制这个网页链接https://movie.douban.com/subject/34913671/reviews

再用Ctrl+v粘贴到快捷工具的网址输入栏,选择要采集的页数,启动采集。



6.2 采集中的爬虫窗口

点击获取数据之后,

数据管家自动弹出两个采集窗口(窗口右下方有绿色的状态球),一个窗口加载网页,采集数据,一个窗口打包上传数据。两个采集窗口工作时,都不能关闭。


6.3 打包下载数据

数据管家在弹出采集窗口的同时,还弹出了一个快捷采集数据管理窗口。

采集完成后,采集状态会从黄色的“采集中”,变成绿色的”已采集”。然后打包下载数据,下载下来的数据一般保存在电脑的下载文件夹。

如果,采集不成功,采集状态会变成红色的“已停止”,这时,要检查

添加的关键词格式是否正确;

需要提前登陆的网站,是否已经登陆;

再重新采集一遍,注意观察采集窗口,网页是否正常加载,如果网页正常加载,但仍然采集失败,请在论坛或者QQ群联系集搜客官方,我们会及时测试维护这些工具。


7. 采集到的数据

豆瓣电影影评快捷工具采集到数据:

在豆瓣影评列表页面中,豆瓣的影评没有展开,是不完整的。 在上面的数据表中,详情链接这个字段,就是每条影评详情页的链接,把这列数据复制下来。添加到豆瓣_电影影评详情快捷工具中,可以采集到完整的影评。

8. 继续采集 豆瓣电影影评详情

选择快捷采集工具  豆瓣_电影影评详情

选择输入多条网址,把上面复制的详情链接用Ctrl+v批量粘贴到工具中,确定,启动采集。数据的打包下载和上面相同。




从上面的操作可以看出,要采集到完整的豆瓣影评,需要两个快捷工具复合使用,豆瓣_电影影评 + 豆瓣电影影评_详情
1

鲜花
1

握手
1

雷人

路过

鸡蛋

刚表态过的朋友 (3 人)

最新评论

GMT+8, 2024-11-21 16:32