GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
请
登录
后使用快捷导航
没有帐号?
立即注册
登录
|
注册
快捷导航
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
使用交流
2
12136
怎样定义样式线索翻页规则?
gooseeker_info
于 2016-9-26 11:02
发表
[复制链接]
[只看楼主]
[打印]
[上一主题]
[下一主题]
gooseeker_info
积分
1743
精华
1
威望
562
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
网页的翻页区很奇怪,翻下一页的时候翻页区会变化,下一页不总是有,无法做记号翻页线索,怎样做样式线索?
收藏
0
转播
支持
0
反对
0
举报
使用道具
|
回复
共 2 个关于本帖的回复 最后回复于 2016-9-26 16:13
Fuller
积分
23874
精华
0
威望
6638
金钱
6
最后登录 2025-3-13
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
沙发
Fuller
管理员
发表于 2016-9-26 11:06:08
|
只看该作者
要用样式线索,要注意三点:
1)首先要确定有独立的网址。这样检查:点击以后,观察一下浏览器的地址输入框,如果网址有变化,那么很可能有独立网址
2)在做翻页规则的时候就不用勾选“连贯抓取”,那么每一页都会产生一条线索,每一页都独立抓取。
3)为了不重复抓,在会员中心设置调度参数“激活下级线索”设置为否,就不会重复抓取
举报
使用道具
回复
支持
反对
Fuller
积分
23874
精华
0
威望
6638
金钱
6
最后登录 2025-3-13
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
板凳
Fuller
管理员
发表于 2016-9-26 16:13:40
|
只看该作者
下面我们具体对比一下记号线索和样式线索的不同用法,样本页面是:
http://www.gooseeker.com/cn/forum/33
上图是记号线索映射
1)用代表翻页区的DIV做线索定位映射,就是选中这个DIV,点鼠标右键,选择菜单 线索映射-》定位-》线索1
2)做翻页记号映射,就是选中代表“next>”文本的那个#next,点鼠标右键,选择菜单 线索映射-》记号映射
上图还可以看到,勾选了“连贯抓取”,就是一口气翻页到底
下面看看样式线索的定义方法。
样式线索的意思是:在选定网页区域中,按照网址的样式来找匹配的网址,找到的就给他建立一条线索,那么首先要创建样式记录。如下图
选择插入,就生成一条样式记录,可以创建很多。
接下来需要在样式记录中填写网址的样式,这个例子,网址是这样的:
/cn/forum/33?page=1
/cn/forum/33?page=2
/cn/forum/33?page=3
他们公共的样式是 /cn/forum/33?page ,也就是说代表他们的前半部分,前半部分相同,这就是公共的样式
这个样式可以手工填写,也可以用样式映射,如下图做映射
下面就是填写目标主题,另外,不能勾选“连贯抓取”
可见,样式线索是根据一个样式,把选定区域中的网址都给匹配出来。显然不能勾选“连贯抓取”。
当网页上的“下一页”无法实现翻页的时候,样式线索可以用,但是很多网址会重复抓取,比如,抓第6页时,前面的5,4,3页网址又会抓下来生成线索,所以,就像二楼说的,要在会员中心的调度参数中选择不激活下级线索,那么即使重复抓下来,假设已经抓取过,不会再次变成激活状态
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
使用道具
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
话题分析(NMF模型和LDA模型)软件的安装和
运行Apple无法验证的程序的方法
文本聚类分析软件的安装和使用方法
利用AI阅读和分析文本:扣子COZE记录用户反
在网页片段内直观标注——以B站评论采集为
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
集搜客文本分词标注工具(V1版)
3
怎样使用快捷采集(以采集京东评论为例)
4
有没有办法采集机场的出租车信息?
5
获得积分的好方法:转发小程序、QQ群、微信
6
【求助】关于采集阿里巴巴国际站访客详情分
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
怎样采集抖音关键词搜索后的数据
10
集搜客GooSeeker 网络爬虫版本发布公告
热门用户
Fuller
帖子:10592
访问主页>>
wangyong
帖子:1719
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2025-3-14 05:18
快速回复
快速发帖
返回顶部
返回列表
共 2 个关于本帖的回复 最后回复于 2016-9-26 16:13