比如网页1上有一个下级线索A;然后线索A抓取后,网页2上又抓取到了这个下级线索A,此时线索A是否会重新添加,重新被抓取。
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2016-5-7 15:54

Fuller 管理员 发表于 2016-5-7 12:30:08 | 显示全部楼层
如果线索A还没有抓取,那么不管生成几次,只有一个。

如果A第一次生成了,马上被抓取了,在网页2上再生成A的话,就会再抓取一次
举报 使用道具
llssyy 初级会员 发表于 2016-5-7 14:26:23 | 显示全部楼层
Fuller 发表于 2016-5-7 12:30
如果线索A还没有抓取,那么不管生成几次,只有一个。

如果A第一次生成了,马上被抓取了,在网页2上再生成A ...

怎么排除重复线索的抓取呢?因为我的两个主题规则是互相生成线索的,所以必须轮流进行,才会不断生成线索,但是这样互相抓取的时候肯定会有重复线索加入
举报 使用道具
Fuller 管理员 发表于 2016-5-7 15:54:47 | 显示全部楼层
llssyy 发表于 2016-5-7 14:26
怎么排除重复线索的抓取呢?因为我的两个主题规则是互相生成线索的,所以必须轮流进行,才会不断生成线索 ...

使用自动调度模式,看爬虫群的相关资料,在会员中心设置调度参数,在“高级设置”里面就有“激活线索”,设置为否。只有运行爬虫群模式才能用这些参数。请在高级教程里面找。http://www.gooseeker.com/doc/article-197-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 15:19