GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
请
登录
后使用快捷导航
没有帐号?
立即注册
登录
|
注册
快捷导航
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
资源发布公告
4
6496
翻了第二页,但是没有爬到第二页的数据
dachengzi
于 2019-8-8 12:33
发表
[复制链接]
[只看楼主]
[打印]
[上一主题]
[下一主题]
dachengzi
积分
65
精华
0
威望
30
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
发现网址的地位标志会改变,尝试了将它冻结后再定义,终于翻了第二页,但是没有爬到第二页的数据,之后就说匹配失败就结束了。
主题:去哪儿鼓浪屿2
网址:https://piao.qunar.com/ticket/de ... =mps_search_suggest
用MS谋数台后续分析后,没有输出信息
麻烦各位大大帮忙看看,感激不尽
收藏
0
转播
支持
0
反对
0
举报
使用道具
|
回复
共 4 个关于本帖的回复 最后回复于 2019-8-9 18:01
Fuller
积分
23868
精华
0
威望
6636
金钱
6
最后登录 2025-3-10
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
沙发
Fuller
管理员
发表于 2019-8-8 15:15:11
|
只看该作者
我测试了,翻页没有问题,加载规则到MS谋数台上也没有问题。但是在DS打数机上翻页到第二页以后就匹配失败了,说明整理箱里面应该做上定位标志映射提高规则的精度
举报
使用道具
回复
支持
反对
Fuller
积分
23868
精华
0
威望
6636
金钱
6
最后登录 2025-3-10
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
板凳
Fuller
管理员
发表于 2019-8-8 15:16:44
|
只看该作者
好奇怪,第二次加载规则就失败了,我试试加上定位标志
举报
使用道具
回复
支持
反对
Fuller
积分
23868
精华
0
威望
6636
金钱
6
最后登录 2025-3-10
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
地板
Fuller
管理员
发表于 2019-8-8 15:26:43
|
只看该作者
上图分别是第一页和第二页的html DOM,可以看到,到第二页,每条评论的html节点变成了DIV,不再是LI了。用样例复制映射的话,生成的xpath中含有节点的名称,这样就不适用了。这个网页上刚好有很好的定位标志,因为每条评论都有相同的class,所以,我取消了样例复制,而是用定位标志映射提取多条评论,这样就好了。用定位标志提取评论列表的教程:
https://www.gooseeker.com/doc/article-347-1.html
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
使用道具
回复
支持
1
反对
0
dachengzi
积分
65
精华
0
威望
30
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
5
#
dachengzi
初级会员
发表于 2019-8-9 18:01:14
|
只看该作者
嗯嗯可以了谢谢大佬
❀
举报
使用道具
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
话题分析(NMF模型和LDA模型)软件的安装和
运行Apple无法验证的程序的方法
文本聚类分析软件的安装和使用方法
利用AI阅读和分析文本:扣子COZE记录用户反
在网页片段内直观标注——以B站评论采集为
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
集搜客文本分词标注工具(V1版)
3
怎样使用快捷采集(以采集京东评论为例)
4
有没有办法采集机场的出租车信息?
5
获得积分的好方法:转发小程序、QQ群、微信
6
【求助】关于采集阿里巴巴国际站访客详情分
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
怎样采集抖音关键词搜索后的数据
10
集搜客GooSeeker 网络爬虫版本发布公告
热门用户
Fuller
帖子:10590
访问主页>>
wangyong
帖子:1719
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2025-3-12 17:11
快速回复
快速发帖
返回顶部
返回列表
共 4 个关于本帖的回复 最后回复于 2019-8-9 18:01