连续动作前和连续动作后的主题名

2016-1-3 16:10| 发布者: Fuller| 查看: 10267| 评论: 3

摘要: 1,动作前后采用不同主题名动作执行前和动作执行后通常采用不同主题名,比如动作执行前:微博兴趣搜索_测试悬浮信息动作执行后:微博兴趣搜索_测试悬浮信息_悬浮动作有人说:为什么要做成两级抓取?其实这跟两级抓取 ...

注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的采集执行情况、管理线索网址以及做调度设置了。

1. 动作前后采用不同主题名

连续动作和采集数据对爬虫来说是两个操作步骤,一般不能放到一个主题名里完成的,因为在同个主题名的话,爬虫就判断不了先后顺序而采集失败,详情见采集流程规划。所以,执行连续动作和动作成功后采数据通常要用不同主题名,最后爬虫就能根据主题名的层级关系来自动执行。比如

如上图,在第一个主题的连续动作工作台上命名动作后的主题名。上例的主题名起的不太好,可以明确指明 “xxxx入口”,“yyyy动作后”。

有人疑问:为什么要做成两级主题来抓数据,做成一个主题不是更省事吗?

其实这跟层级采集不一样,第一个主题是标识一个动作的入口,并执行连续动作;而第二个主题是在动作完成后采集看到的网页内容,注意:这里没有涉及到链接,是通过目标主题名来关联两级主题的。虽然两个主题的网页结构可能是一样的,但是,作用是完全不同的,一个负责执行连续动作,另一个负责采集数据。

2. 相关资料

2.1 连续动作概念、场景和用法

2.2返回目录->

4

鲜花

握手

雷人
1

路过
1

鸡蛋

刚表态过的朋友 (6 人)

相关阅读

发表评论

最新评论

评论 goodhanbin 2020-6-6 19:51
两个连续动作,可以设置不同的主题名吗?
评论 Fuller 2017-6-2 15:54
closeyoo: 一个页面里可能要点击好几个选项卡按钮,连续地采集,这样的话不就有很多很多的主题? 0.0
如果把一组选项卡都点击完了才采集,那么就一个主题。一个主题对应一类采集,跟几个动作没有关系
评论 closeyoo 2017-6-2 15:07
一个页面里可能要点击好几个选项卡按钮,连续地采集,这样的话不就有很多很多的主题? 0.0

查看全部评论(3)

GMT+8, 2024-11-22 04:52