线索是否会重复添加抓取？

比如网页1上有一个下级线索A；然后线索A抓取后，网页2上又抓取到了这个下级线索A，此时线索A是否会重新添加，重新被抓取。

如果线索A还没有抓取，那么不管生成几次，只有一个。

如果A第一次生成了，马上被抓取了，在网页2上再生成A的话，就会再抓取一次

Fuller 发表于 2016-5-7 12:30
如果线索A还没有抓取，那么不管生成几次，只有一个。

如果A第一次生成了，马上被抓取了，在网页2上再生成A ...

怎么排除重复线索的抓取呢？因为我的两个主题规则是互相生成线索的，所以必须轮流进行，才会不断生成线索，但是这样互相抓取的时候肯定会有重复线索加入

llssyy 发表于 2016-5-7 14:26
怎么排除重复线索的抓取呢？因为我的两个主题规则是互相生成线索的，所以必须轮流进行，才会不断生成线索 ...

使用自动调度模式，看爬虫群的相关资料，在会员中心设置调度参数，在“高级设置”里面就有“激活线索”，设置为否。只有运行爬虫群模式才能用这些参数。请在高级教程里面找。http://www.gooseeker.com/doc/article-197-1.html