如何解决点击更多时初始数据重复采集的情况

大帝烦人

点击更多时每次会将原来的数据再次采集一次，造成重复现象如何解决

HJLing · 发表于 2017-1-10 15:12:16

你说的是瀑布流格式的数据因为集搜客是所见即所得的采集所以每次都会把页面全部数据都采下来
出现重复数据可以尝试：
1.只要最后一个xml结果文件（但要保证最初始的数据还在不然会缺少数据）
2.全部都转换成excel 再利用excel去重

共 1 个关于本帖的回复最后回复于 2017-1-10 15:12

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页