集搜客GooSeeker网络爬虫

标题: 如何解决点击更多时初始数据重复采集的情况 [打印本页]

作者: 大帝烦人 时间: 2017-1-10 15:09
标题: 如何解决点击更多时初始数据重复采集的情况
点击更多时每次会将原来的数据再次采集一次，造成重复现象如何解决

作者: HJLing 时间: 2017-1-10 15:12
你说的是瀑布流格式的数据因为集搜客是所见即所得的采集所以每次都会把页面全部数据都采下来
出现重复数据可以尝试：
1.只要最后一个xml结果文件（但要保证最初始的数据还在不然会缺少数据）
2.全部都转换成excel 再利用excel去重

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)