集搜客在不同电脑运行同一规则，数据是否会重复

For数据

本帖最后由 xandy 于 2016-1-5 09:39 编辑

请问集搜客在不同电脑运行同一规则，怎么把重复数据去掉

For数据 · 发表于 2016-1-4 20:05:02

集搜客在不同电脑运行同一规则时，是自动具有识别重复网址的功能，所以虽然在不同电脑上采集数据，但是采集的数据是不会重复的

Fuller · 发表于 2016-1-4 20:43:53

这是GooSeeker网络爬虫的优势之一。数据量大的时候，甚至可以邀请朋友一起帮你采集数据

共 2 个关于本帖的回复最后回复于 2016-1-4 20:43

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页