我想问一下,层级抓取中,第二层可以有多个上级线索吗?(比如,规则一第一层和规则二第一层 的下一级都可以是规则第二层吗)
举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2016-10-24 10:26

沙发
quyixuan 金牌会员 发表于 2016-10-24 10:19:22 | 只看该作者
可以
不影响抓取,但是处理抓取结果的时候,如果要关联两层做处理,要注意处理过程

举报 使用道具
板凳
TonyJiang 高级会员 发表于 2016-10-24 10:20:46 | 只看该作者
quyixuan 发表于 2016-10-24 10:19
可以
不影响抓取,但是处理抓取结果的时候,如果要关联两层做处理,要注意处理过程

第一层重新抓取的话,第二层的线索 会覆盖还是有增减会自动替换更新吗
举报 使用道具
地板
quyixuan 金牌会员 发表于 2016-10-24 10:21:32 | 只看该作者
TonyJiang 发表于 2016-10-24 10:20
第一层重新抓取的话,第二层的线索 会覆盖还是有增减会自动替换更新吗
...

在会员中心有调度参数,是否激活下级线索,设置成 否,就不会重复抓取
举报 使用道具
5#
TonyJiang 高级会员 发表于 2016-10-24 10:22:39 | 只看该作者
quyixuan 发表于 2016-10-24 10:21
在会员中心有调度参数,是否激活下级线索,设置成 否,就不会重复抓取
...


这个吗,可是我想的是,更新下一级线索,并不是不激活呀

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
6#
quyixuan 金牌会员 发表于 2016-10-24 10:23:08 | 只看该作者
TonyJiang 发表于 2016-10-24 10:22
这个吗,可是我想的是,更新下一级线索,并不是不激活呀

那就选是
举报 使用道具
7#
TonyJiang 高级会员 发表于 2016-10-24 10:23:42 | 只看该作者

我想问的是,网页不是在变化吗,可能有些商品会下架,又有新加的,那我在抓一次,不会重复吗
还是线索管理那里默认线索不重复的
下级线索定时更新
举报 使用道具
8#
quyixuan 金牌会员 发表于 2016-10-24 10:24:13 | 只看该作者
TonyJiang 发表于 2016-10-24 10:23
我想问的是,网页不是在变化吗,可能有些商品会下架,又有新加的,那我在抓一次,不会重复吗
还是线索管 ...

如果下级线索网址不一样,那么就不会重叠
那个参数设置成是与否,只对网址一样的时候有效
举报 使用道具
9#
TonyJiang 高级会员 发表于 2016-10-24 10:25:03 | 只看该作者
quyixuan 发表于 2016-10-24 10:24
如果下级线索网址不一样,那么就不会重叠
那个参数设置成是与否,只对网址一样的时候有效
...

一样呢,系统默认不重复添加么
举报 使用道具
10#
quyixuan 金牌会员 发表于 2016-10-24 10:25:28 | 只看该作者
TonyJiang 发表于 2016-10-24 10:25
一样呢,系统默认不重复添加么

系统不允许重复,所以,抓到相同网址只能选择是否重新激活
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 12:11