GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
请
登录
后使用快捷导航
没有帐号?
立即注册
登录
|
注册
快捷导航
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
使用交流
1
19106
为什么自定义xpath表达式规则加载失败
Fuller
于 2016-5-21 15:30
发表
[复制链接]
[只看楼主]
[打印]
[上一主题]
[下一主题]
Fuller
积分
23453
精华
0
威望
6444
金钱
6
最后登录 2024-11-21
加为好友
发送消息
访问家园
我自定义xpath,用了substring-before(),勾上专用定位并填上定位表达式,重新加载规则就会报错,不勾专用定位和内容定位,保存后加载规则都不会报错,这是什么情况?
规则名是“百度网页关键词搜索_fuller”
,可以测试一下。
百度网页
,
关键词搜索
,
表达式
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
收藏
0
转播
支持
0
反对
0
相关帖子
•
【微指数——搜索趋势、地域解读、属性分析】#集搜客GooSeeker数据集开放目录#
•
新浪微博数据采集攻略
•
链家理财数据采集攻略
•
知网数据采集攻略
•
安居客数据采集攻略
•
连续动作的定位表达式要怎么写?
•
连续动作的起点是怎么使用的?
•
连续动作的内容表达式有什么用,怎么填?
•
连续动作的合用表达式怎么用?
•
第48期在线培训_微博转发和评论信息、微博视频采集
举报
使用道具
|
回复
共 1 个关于本帖的回复 最后回复于 2016-5-21 15:32
Fuller
积分
23453
精华
0
威望
6444
金钱
6
最后登录 2024-11-21
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
沙发
Fuller
管理员
发表于 2016-5-21 15:32:03
|
只看该作者
经检查,是定位标志表达式中填写的xpath语法没有问题,但是实际上定位不到网页内容,所以失败了。
这是一个使用技巧:
在一个网页列表中,排在第一个的样例信息不全,有些字段缺失,比如上例,没有“日期”,但是为了做样例复制,不得不用它。此时就能发挥自定义xpath的优势,而且定位标志表达式和抓取内容表达式可以是两个不同的表达式。
1,定位标志表达式:
只在加载抓取规则的时候使用。注意:GooSeeker网络爬虫在整理箱中定义抓取规则,要求每个抓取内容在网页上都映射到某个DOM节点,加载以前的规则的时候,先要把映射关系恢复出来。但是,像这种情况,第一个样例其实是不包含符合条件的节点的,所以,专门用一个定位标志表达式指向一个在网页上总是有的节点,当加载规则的时候,能确保加载成功。本例,完全可以指向代表整个第一个样例的DIV节点。
2,抓取内容表达式:
加载规则的时候不用,而是DS打数机抓取数据的时候采用,这个规则才真正把内容抓下来,加载到MS谋数台上的时候,根本不看这个规则。
题主问的问题,其实是MS谋数台加载规则的时候根据这个定位表达式根本找不到这个DOM节点。
下面讲讲“专用定位”,“兼做定位”的用法。
其实有三种组合
1,哪个都不选:就用MS谋数台的自动定位
2,选择专用定位:MS谋数台加载规则的时候,根据 定位标志表达式 中的xpath恢复映射关系
3,选择兼做定位:MS谋数台加载规则的时候,把 抓取内容表达式 当成定位表达式使用。
例如,substring-before(.//span[contains(@class,'newTimeFactor')]/text(),'-') 是不能选“兼做定位”的,因为这个xpath的结果是一个字符串,不是DOM节点。
举报
使用道具
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
利用AI阅读和分析文本:扣子COZE记录用户反
在网页片段内直观标注——以B站评论采集为
利用AI阅读和分析文本:使用COZE建设游记文
使用AI工具Kimi生成python代码为文本分析结
苹果mac电脑安装集搜客网络爬虫软件失败的
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
集搜客文本分词标注工具(V1版)
3
怎样使用快捷采集(以采集京东评论为例)
4
有没有办法采集机场的出租车信息?
5
获得积分的好方法:转发小程序、QQ群、微信
6
【求助】关于采集阿里巴巴国际站访客详情分
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
怎样采集抖音关键词搜索后的数据
10
集搜客GooSeeker 网络爬虫版本发布公告
热门用户
Fuller
帖子:10559
访问主页>>
wangyong
帖子:1712
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2024-11-21 20:20
快速回复
快速发帖
返回顶部
返回列表
共 1 个关于本帖的回复 最后回复于 2016-5-21 15:32