爬虫群设置中的结果入库和重复内容中断是什么意思

抖抖olo一银桑诶嘿

重复内容中断的判定是什么？链接相同就中断还是？

shengchengx · 发表于 2017-5-2 17:29:59

本帖最后由 shengchengx 于 2017-5-2 17:31 编辑

如果勾选了结果入库的话是在使用爬虫群窗口来抓取数据时，抓取和入库都是自动进行的，会自动打包上传，你只需要去会员中心导出数据就可以了
重复内容中断的判定是如果连续的抓取到3个完全相同的XML结果文件，就会触发中断。

共 1 个关于本帖的回复最后回复于 2017-5-2 17:29

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页