集搜客爬取游记文字文字

希望只爬取网页内的文本游记内容，不要图片，但是无法选取全部文字，只能一段一段选中，会被图片和行间距隔断，请问要怎么做呢？

集搜客快捷采集可以采集携程和马蜂窝的数据：
马蜂窝游记采集_列表
携程游记采集_列表
以采集携程采集携程游记文本为例，可以直接使用集搜客快捷采集，不用自定义采集规则。使用方法如下：1，安装集搜客数据管家，从左侧工具条进入快捷采集，选择访问携程游记采集_列表
输入要采集的节点关键词搜索链接，例如搜索“崂山”后的链接：https://you.ctrip.com/searchsite ... 2582%25e5%25b1%25b1

确认提交后数据管家会自动开始采集，采集完成后，我们可以在快捷采集的后台中找到该任务下载数据
下载到列表的数据，包括游记标题、游记链接、发布时间、关键词等。
2，要继续采集到游记正文，需要将游记链接添加到携程游记采集_详情，添加多条网址可以选择输入多条网址按钮

添加完成后数据管家会自动开始采集，详情任务采集完成后，打包下载就可以看到游记正文数据内容了
这是采集到的数据

选中包含所有文字的网页区域，映射给一个抓取内容，给这个抓取内容设置高级设置，里面有纯文本选项，勾上以后就只有文本内容

映射一个网页区域的方法参考这篇教程：https://www.gooseeker.com/doc/article-420-1.html
高级设置参考这篇文章，这篇文章虽然采集网页片段的，但是勾上“纯文本”就是采集纯文本内容：https://www.gooseeker.com/doc/article-354-1.html

Fuller 发表于 2020-1-11 08:18
映射一个网页区域的方法参考这篇教程：https://www.gooseeker.com/doc/article-420-1.html
高级设置参考这 ...

请问用MS谋数台分析后续分析的输出框显示空白，但是抓取任务显示抓取超时，抓取规则不合适或者抓取时间设置太短怎么解决，抓取时间已经设置为500

Fuller 发表于 2020-1-11 08:18
映射一个网页区域的方法参考这篇教程：https://www.gooseeker.com/doc/article-420-1.html
高级设置参考这 ...

请问用MS谋数台分析后续分析的输出框显示空白，但是抓取任务显示抓取超时，抓取规则不合适或者抓取时间设置太短怎么解决，抓取时间已经设置为500

aycf8023 发表于 2020-1-11 11:56
请问用MS谋数台分析后续分析的输出框显示空白，但是抓取任务显示抓取超时，抓取规则不合适或者抓取时间设 ...

你可以把规则名发出来，管理员加载分析一下失败原因。

规则如果没有使用定位标志映射，就很容易失败。使用定位标志映射的教程在这里：https://www.gooseeker.com/doc/article-344-1.html

Fuller 发表于 2020-1-11 12:26
你可以把规则名发出来，管理员加载分析一下失败原因。

规则如果没有使用定位标志映射，就很容易失败。使 ...

马蜂窝厦门美食第一页和马蜂窝厦门美食第一页第二级

aycf8023 发表于 2020-1-11 13:17
马蜂窝厦门美食第一页和马蜂窝厦门美食第一页第二级

我看到你是用编号是891的这个节点做内容映射，范围不够大，那么就用更上级的节点做内容映射。另外勾上“纯文本内容”可以避免把网页上的script代码也采集下来。

这个网页好长，DS打数机的自动滚屏打开，菜单 配置-》滚屏参数，把滚屏次数这是大一些，比如，20，或者更大。如果滚屏会超过一分钟，那么把超时时长也设置大一些。