请问数据去重是什么意思？

如果我采集了100个推主的点赞，这些推主肯定有点赞相同的推文，是吧这些推文去重吗？但是原始路径不一样啊

你说的原始路径是什么？是否要去重那要看你想怎么分析，有了点赞关系以后，整个数据之间的关系变复杂了，变成了一个图状的联系，要根据分析目的来处理这个数据关系

Fuller 发表于 2023-2-10 10:56
你说的原始路径是什么？是否要去重那要看你想怎么分析，有了点赞关系以后，整个数据之间的关系变复杂了，变 ...

我可以设置不去重吗？在打包的表里，<fullpath>字段不同，会被去重吗？我不太理解为什么打包数据会去重。因为按浏览器采集到的数据，肯定没有重复的，有的内容一样，但是采集位置<fullpath>肯定不一样。

JeromeL 发表于 2023-2-10 11:00
我可以设置不去重吗？在打包的表里，字段不同，会被去重吗？我不太理解为什么打包数据会去重。因为按浏览 ...

爬虫软件去重不会影响到你说的那种情况。爬虫软件在采集的时候，一次一次地从网页上采集数据。如果网页通过滚屏加载新的内容（现在很多网站都是这样的，滚动一下鼠标就会有更多内容显示出来），老内容还在网页上，那么滚动以后采集到的内容就会包含滚动前采集的内容，所以要去重。

如果<fullpath>不同，那是两个不同的网页，去重过程不会对比两个不同的网页内容，所以，不可能把两个不同网页上的内容判断为重复内容

Fuller 发表于 2023-2-10 11:28
爬虫软件去重不会影响到你说的那种情况。爬虫软件在采集的时候，一次一次地从网页上采集数据。如果网页通 ...

明白了，谢谢