匹配失败

私募基金管理人信息查询第12级为什么有的匹配成功有的失败，行数也没有差别

有多种方法分析为什么有些网页是失败的。我这里介绍一种方法：先找到失败的网址，加载网页，然后用规则分析这个网页
以下假定使用数据管家——增强版网络爬虫浏览器访问集搜客会员中心，这样就可以所有的操作都集成在一体，一气呵成。


1，进入任务管理



2，找一个失败线索作为样本
如下图，选择“失败”线索，然后点击这条线索，就会打开这个网页




3，进入定义规则模式
点击左栏的 + 按钮，进入定义规则模式



4，输入规则名，点击加载规则
【注意弹框中的选择】不要勾加载样本页面，因为你已经把要分析的页面加载好了



5，分析页面和修改规则
参看《爬虫任务的加载、修改和另存》的最后一步，执行分析页面的时候，就会看到有很多失败提示，说明这个规则不适合这个网页，要做些调整

Fuller 发表于 2021-8-26 09:24
有多种方法分析为什么有些网页是失败的。我这里介绍一种方法：先找到失败的网址，加载网页，然后用规则分析 ...

按操作，发现我所有失败的线索，测试时都能爬到数据，没有任何显示错误

Easec888 发表于 2021-8-26 10:09
按操作，发现我所有失败的线索，测试时都能爬到数据，没有任何显示错误
...

那就激活失败线索，重爬一次失败线索，可能那时候网页打不开造成的。

你有没有改动过超时时长？这个参数不能太短，不然没等网页显示出来，采集就结束了

，也不是超时时长的原因

任务名：
私募基金管理人信息查询第11级，
私募基金管理人信息查询第12级，麻烦看下吧

Easec888 发表于 2021-8-26 11:04
任务名：
私募基金管理人信息查询第11级，
私募基金管理人信息查询第12级，麻烦看下吧 ...

私募基金管理人信息查询第12级规则里不能每个内容都勾关键内容，关键内容是每个网页都出现的需要勾关键内容，采集的字段中不是每个网页都有，所以在哪些没有字段的网页就报错了


而且这个页面要精确抓取的需要每个采集内容都写自定义xpath用contains函数，例如：

1. .//*[@class='table']/tbody/tr[contains(./td[1]/text(),'组织机构代码')]/td[2]

复制代码