识别到相同的内容怎么判断和设置跳过

比如淘宝搜索列表，按产品来搜的，可能会多次显示同一个商家的产品，但是我的采集内容就是采集商家，只需要采集一次就够了，后面碰到已经采集过了的商家，怎么判断内容相同和跳过这条线索？

做好采集商家的规则，然后给这个规则添加线索，是会做重复过滤的。

添加线索可能有两种：
1，通过层级采集生成的下级线索
2，手工导入的线索

这两种都能判断重复。但是要注意：
1，如果一个商家已经被采集过了，之后又添加一次，就会再次激活。为了不重复采集，先把所有商家线索都添加好，再启动采集
2，如果网址中含有一些参数，比如， &号紧跟着的参数，那么会把整个作为一个网址，而真正有效的可能只是前面的几个参数就决定了这个商家。那么，后面这些参数应该删除掉再导入网址。在淘宝这样的网站上，原始网址后面往往会加很多参数，用来做营销监测的，把这些参数删除了，才能得到原始的网址。如果含有这些参数，每次得到的网址参数不一样，实际上是同一个商家，这样就形成重复网址了