网页第一层爬取成功第二层爬取进入页面失败

搜yi搜账号

不知道是什么问题

Fuller · 发表于 2017-4-6 10:39:33

点击窗口的这个位置，往上拉，就能显示日志区。可以看到失败日志，也有线索号，记住线索号，到MS谋数台上加载分析。方法是：在教程首页搜索“加载分析失败线索”，能看到很多经验介绍。

搜yi搜账号 · 发表于 2017-4-6 12:51:01

本帖最后由搜yi搜账号于 2017-4-6 13:18 编辑

您好，我看了日志之后使用了定位线索但仍然不能成功，但是只是单抓第二层的那个页面时能够抓取成功，加上第一层就打不开网页

Fuller · 发表于 2017-4-6 16:11:01

搜yi搜账号发表于 2017-4-6 12:51
您好，我看了日志之后使用了定位线索但仍然不能成功，但是只是单抓第二层的那个页面时能够抓取成功，加上第 ...

根据你的截图，看到你的xpath特别长，这样的xpath的适应性很差，在整理箱中，要用上定位标志映射。

也可以把主题名贴出来，帮你诊断一下

搜yi搜账号 · 发表于 2017-4-6 18:15:44

谢谢您了，我刚刚又重写了一遍不知道怎么就是正常的，原来的那个还不太正常名字是“优信本田一层”，“优信本田二层”。

Fuller · 发表于 2017-4-6 19:03:31

搜yi搜账号发表于 2017-4-6 18:15
谢谢您了，我刚刚又重写了一遍不知道怎么就是正常的，原来的那个还不太正常名字是“优信本田一层”，“优信 ...

这个网页上有很好的定位标志，可以用上定位标志映射，或者设置定位偏好，使用偏好class试试，设置定位偏好没有做定位标志映射那么有把握，因为手工映射是强制性的，设置偏好只是指导性的

搜yi搜账号 · 发表于 2017-4-8 14:26:36

您好！我这几天又进行几次爬取之后发现第一层爬取时如果上图的#text在+attributes之外的话就得把第一层的容包弄成@href就能用了。

Fuller · 发表于 2017-4-8 16:35:09

搜yi搜账号发表于 2017-4-8 14:26
您好！我这几天又进行几次爬取之后发现第一层爬取时如果上图的#text在+attributes之外的话就得把第一层的 ...

html中的text是个独立节点，不会位于+attributes中的，+attributes在网页上其实是没有的，只是在分析DOM的时候，为了方便，把所有html元素的属性都放在+attributes下面，而text不是元素的属性

搜yi搜账号 · 发表于 2017-4-10 17:19:03

原来是这样啊，我就说我为啥找不到网页上的+attributes，谢谢大神指点

共 8 个关于本帖的回复最后回复于 2017-4-10 17:19

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页