下级线索重复怎么预处理？

这个是百度搜索seo这个关键词出来的相关搜索，这个的参考意思不大，就没有用百度拓词工具了。


如果想采集淘宝的，搜狗的相关搜索词，好像没有办法了，我做了个测试，



这是一个规则，

第二个规则我把主题名和目标主题名设置成相反的


然后启用爬虫群


这样好像能循环采集下去，但是重复的url不知道怎么预处理

用一级规则就够了，在 入口a 这一级，下级线索还是 入口a

如果不想重复抓，看这个截图


红框内的参数要选择 “否”

谢谢。

这个再高级设置里面的，重复内容中断，默认选择是  否 的。 但是还是在重复的抓取

gooscape 发表于 2016-10-21 17:46
这个再高级设置里面的，重复内容中断，默认选择是  否 的。 但是还是在重复的抓取 ...

重复内容中断 = 是：那么遇到重复的网页，会重复三次就中断。

请注意：这个只能用在
1）翻页
2）连续动作
他们都是只有一条线索一直翻下去。

相反，如果你有多个独立的线索，用这些线索抓网页的时候，爬虫不做内容重复判断。爬虫只判断网址有没有重复

像你这个主题，每个关键词都有一个独立的网址，这个只能判断网址重复。

但是，可能会遇到一个小麻烦，在同一个关键词情况下，比如，淘宝的网址可能不一样，他们的参数有多有少，这样就当成不同的网址了。这个问题爬虫不去解决，需要预先把网址清理一遍

大大，有没有好的思路。。。

gooscape 发表于 2016-10-21 17:59
大大，有没有好的思路。。。

哪个问题？

采集的网址作为下一轮的线索，并且能够清洗一下这些线索，不重复。。。

gooscape 发表于 2016-10-21 22:44
采集的网址作为下一轮的线索，并且能够清洗一下这些线索，不重复。。。

如果要清洗网址，那么按顺序执行下面的步骤
1）修改第一级规则，不要在第一级规则中定义下级线索，把网址当成纯内容采集下来。
2）将采集结果导入excel，
3）在excel中用清洗算法修改成你需要的网址，
4）把地址这一列单独拷贝到一个excel文件中，一行一个网址
5）在会员中心，找到第二级规则，在规则管理网页上有线索导入按钮，点击后把网址excel上载上去