集搜客GooSeeker网络爬虫

标题: 网页结构有一点不同的网页可以用一个规则来抓数据吗 [打印本页]

作者: MakeitPossibleV 时间: 2015-8-27 11:16
标题: 网页结构有一点不同的网页可以用一个规则来抓数据吗
在抓一个网站的数据，但是有的信息不是每个网页都有，而是部分网页才显示，就是只有这点差别而已，我做了一个规则，但是只抓到一类网页的信息，怎么解决啊

作者: wangyong 时间: 2015-8-27 11:20
本帖最后由 wangyong 于 2015-8-27 11:28 编辑

要看实际情况，有些网页能用一个规则，例如百度新闻搜索网页，搜索结果有多种结构，有的新闻有图片和相同新闻数显示，有的新闻就没有，虽然没有这些信息，但对应的div说不定一直存在，具体情况需要分析网页结构，就是把网页加载到MS谋数台，然后点击网页信息，观察这些信息结构的异同点；如果div一直存在，就可以把这个网页当作样本页面做规则，红框中的抓取内容（仅部分网页显示的信息）就不用设置成关键内容，这样，网页显示这些信息时DS打数机就会抓取，没有的网页就会跳过不抓，同时正常抓取页面上的其它信息
[attach]65[/attach]
[attach]64[/attach]

如果网页结构改动很大，可以定义两个规则，放在同一个主题名下，一个规则抓取一种网页结构的数据，一个主题名可以包含多个规则，相当于是一组规则了，DS打数机在抓数据时就会用这组规则去匹配网页结构，抓取与规则相匹配的网页数据。
[attach]63[/attach]
[attach]62[/attach]

作者: MakeitPossibleV 时间: 2015-8-27 11:54
看懂了，我这个网页虽然只有一点不同，但是有的网页没有对应的div，要做两个规则才行，谢谢解答

作者: 驻在冰箱的企鹅菌 时间: 2015-8-31 18:04
版主没有没有发布抓取百度新闻搜索网页的规则，这样就可以具体看看规则来理解了。

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)