如何过滤重复数据？

seontate

如何过滤重复数据？

Fuller · 发表于 2017-2-9 10:36:07

问题要详细一点，过滤哪种数据？

是要过滤采集结果文件中的重复数据吗？一种简单的方法是把结果文件导入会员中心以后，导出excel，在excel中做排序，那些重复数据就挨在一起了，手工删除就行。这种方法适用于小数据量。如果数据量很大，应该在数据库中做重复过滤

ym · 发表于 2017-2-9 10:36:27

本帖最后由 ym 于 2017-2-9 10:45 编辑

不能通过爬虫程序自动过滤重复信息，而是把信息采集下来后再进行重复过滤。
方法1：把xml转为excel格式，在excel里进行重复过滤，操作是：选中关联的信息，再点击“数据”->“删除重复项”，如下图

方法2：把xml导入到数据库，用清洗程序过滤重复，这个需要自己编写程序

共 2 个关于本帖的回复最后回复于 2017-2-9 10:36

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页