今日头条文章评论快捷采集的去重问题

上周使用这个快捷采集：今日头条文章评论采集， 爬取今日头条文章评论，发现因为瀑布流页面的原因， 抓取结果会有重复的。
请问是爬取完了打包下载后，我自己在excel里去重吗？

你说的这个今日头条评论， 已经加上自动去重步骤了， 你导出的数据就是已经去过重的。