如何抓取网页片段完整信息——以采集京东商品标题为例

在对网页进行抓取时，由于文本内容存放在多个text节点，所以有时会遇到只抓取到目标抓取内容的一部分，例如图1这种情况。

注释1：本文所演示的翻页抓取规则，可到资源库下载学习：完整信息抓取_京东搜索列表

图1

如图1在浏览器窗口展现的完整信息，在网页结构窗口中实际是分多个text文本节点显示的，为了将完整信息抓取下来，需要在进行高级设置后，将包含多个text文本节点的区块节点抓取下来。

一、进行高级设置

图2 高级设置

如图2，具体操作步骤如下 由图1得知在浏览器窗口展现的完整信息，在网页结构窗口中实际是包含在一个区块节点下的多个text文本节点。那么我们就需要将区块节点内的文本内容都抓取下来。 MS谋数台不能直接将区块节点进行内容映射，需要进行设置后才能进行内容映射。

二、映射区块节点

图3 内容映射

如图3，具体操作步骤如下

以上就是集搜客如何抓取网页片段完整信息的具体操作步骤。