集搜客GooSeeker网络爬虫

标题: 关键字段内容空白整页不采集了 [打印本页]

作者: goodhanbin 时间: 2020-6-5 09:07
标题: 关键字段内容空白整页不采集了
现在，遇到一个问题，第一页第一行，关键字段中，某一字段：常用搜索词空白，会导致整页不采集

作者: Fuller 时间: 2020-6-5 09:45
这种不要勾关键内容，或者写一个xpath能兼容多种情况的

作者: Fuller 时间: 2020-6-5 09:48
一般空白也会有一个html元素的，比如，一个空的div，用这个div做内容映射。这要在DOM树上做内容映射，在网页上点击以后，DOM上会定位到一个节点。如果有内容，会定位到div下面的某个元素节点，如果没有内容，就选择那个div做内容映射。

作者: goodhanbin 时间: 2020-6-5 09:51

Fuller 发表于 2020-6-5 09:45
这种不要勾关键内容，或者写一个xpath能兼容多种情况的

关键字段：常用搜索词，这一项，未钩选关键字内容，也不行，整页不采集了

作者: goodhanbin 时间: 2020-6-5 09:52

Fuller 发表于 2020-6-5 09:48
一般空白也会有一个html元素的，比如，一个空的div，用这个div做内容映射。这要在DOM树上做内容映射，在网 ...

这是设置字段截图

作者: Fuller 时间: 2020-6-5 10:28
这个管理后台的采集很难做规则，要做好几层。这种内部网站，只能靠你自己慢慢摸索。

另外，采集管理后台一定要注意网页上的提示，如果警告不要用爬虫采数据，就要及时停下来，小心被封了账号

作者: goodhanbin 时间: 2020-6-5 10:42

Fuller 发表于 2020-6-5 10:28
这个管理后台的采集很难做规则，要做好几层。这种内部网站，只能靠你自己慢慢摸索。

另外，采集管理后台一 ...

我已经做好规则，现在问题是，关键字空白字段，DIV值无

作者: goodhanbin 时间: 2020-6-5 11:24
另外，有些页，无DIV值，爬虫也能继续采到

作者: Fuller 时间: 2020-6-5 16:10

goodhanbin 发表于 2020-6-5 11:24
另外，有些页，无DIV值，爬虫也能继续采到

这个要具体看看DOM，如果显示空白的时候，那个位置是个什么DOM节点。如果跟有内容的时候不一样，就自定义xpath。自定义xpath的时候，一个xpath表达式中可以写两个xpath表达式，中间用 | 间隔。那么爬虫就会分别用两个xpath去尝试，试对了哪个用哪个

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)