一级规则抓取列表页链接,二级规则抓取详细页内容
之前一级规则已经抓取了100条,二级规则已经把这100条线索抓取完成

再次启动一级线索,抓取了102条,如何设置,让二级规则只抓这新增加的两条,之前抓过的线索,就不要抓了
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-5-29 11:23

bowieD 金牌会员 发表于 2018-5-29 09:43:48 | 显示全部楼层
在会员中心--规则管理--规则名--调度--高级设置中将激活下级线索改成否,然后启动爬虫群采集,这样列表规则再次采集到已经采集完成的线索将不会激活。
参考《下级线索不激活》
举报 使用道具
dfhs_data 高级会员 发表于 2018-5-29 10:12:24 | 显示全部楼层
bowieD 发表于 2018-5-29 09:43
在会员中心--规则管理--规则名--调度--高级设置中将激活下级线索改成否,然后启动爬虫群采集,这样列表规则 ...

好的,谢谢,这种设置,对于抓取失败的线索会激活吗?
如果100条,其中有1条失败了,再抓取的102条过程中,能否实际应该抓取2条(新)+1条(失败)的吗?
举报 使用道具
bowieD 金牌会员 发表于 2018-5-29 10:26:55 | 显示全部楼层
本帖最后由 bowieD 于 2018-5-29 10:29 编辑
dfhs_data 发表于 2018-5-29 10:12
好的,谢谢,这种设置,对于抓取失败的线索会激活吗?
如果100条,其中有1条失败了,再抓取的102条过程中 ...

如果有抓取失败的线索,激活失败线索就会重新采集,对于抓取失败的线索会再次采集
举报 使用道具
dfhs_data 高级会员 发表于 2018-5-29 11:23:02 | 显示全部楼层
bowieD 发表于 2018-5-29 10:26
如果有抓取失败的线索,激活失败线索就会重新采集,对于抓取失败的线索会再次采集 ...

感谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 12:59