想爬携程游记文本，是否能用集搜客爬虫软件？

想爬携程几百篇游记文本，采集分页列表详细信息

采集携程游记文本，可以直接使用集搜客快捷采集，不用自定义采集规则。使用方法如下：1，安装集搜客数据管家，从左侧工具条进入快捷采集，选择访问携程游记采集_列表
输入要采集的节点关键词搜索链接，例如搜索“崂山”后的链接：https://you.ctrip.com/searchsite ... 2582%25e5%25b1%25b1

确认提交后数据管家会自动开始采集，采集完成后，我们可以在快捷采集的后台中找到该任务下载数据
下载到列表的数据，包括游记标题、游记链接、发布时间、关键词等。
2，要继续采集到游记正文，需要将游记链接添加到携程游记采集_详情，添加多条网址可以选择输入多条网址按钮

添加完成后数据管家会自动开始采集，详情任务采集完成后，打包下载就可以看到游记正文数据内容了
这是采集到的数据

集搜客爬虫软件不但能爬文本，还能同时把图片采集下来，不用另外运行下载图片的软件。而且，集搜客生成的结果文件中，明确标明原文中图片的位置。对于编辑和排版特别方便。



在同一个页面上要爬下来整个列表，那么就要定义多样例抓取规则，请注意，图片上有不同颜色的分类，可能用了不同的CSS class，因为MS谋数台生成规则的时候会自动选用class和id，可以在“创建规则”工作台上选择“定位”按钮，可以选择 偏好class 和 偏好id 分别试试，避开自动选择不合适的class和id。

在这个网页上还要做一个翻页规则

请问一下有具体的教程吗？如何抓取网络游记、经典评论以及最后的文本分词、情感分析、社会网络分析之类的

抓取网络游记文本的内容和游记评论

lixueyun 发表于 2019-1-9 21:06
抓取网络游记文本的内容和游记评论

没有专门针对网络上的游记写抓取教程。可以看初级教程，掌握爬虫的使用方法，方法掌握了，可以应用到其他类型的网站上

请问抓取游记怎样可以把游记内容一次性抓取但是不要图片。尝试了一下，文字都会被图片隔断，且文字之间有断行的话也没办法直接选取。。。

aycf8023 发表于 2020-1-11 00:42
请问抓取游记怎样可以把游记内容一次性抓取但是不要图片。尝试了一下，文字都会被图片隔断，且文字之间有断 ...

这软件好像只能在同一个网页上进行操作，爬取游记的话必须要点一下游记的标题，那就意味着进入了另一个网页，所以你爬取的时候只能得到游记开头的几行字

syd131421 发表于 2020-5-15 02:12
这软件好像只能在同一个网页上进行操作，爬取游记的话必须要点一下游记的标题，那就意味着进入了另一个网 ...

首先在列表页上要做层级采集，采集到详情页的网址，在第二层采集详细内容。参看: https://www.gooseeker.com/doc/article-343-1.html

其次，可以选择整个评论部分的网页块做内容映射，选择“纯文本内容”这个高级设置项，这样就能把图片隔开的文字也采集到。参看：https://www.gooseeker.com/doc/article-420-1.html