采集了3000多条数据，并且全部采集成功，但导出excel只有不到100条数据

如题，爬虫群采集了3000多个网页的数据，并且全部采集成功但导出数据后发现excel中只有不到100条数据，并且手动打包所有xml后，手动导入，导出后还是同样不到100条数据

1：爬虫群自动打包的zip压缩包，182个zip压缩包


2：规则显示全部抓取完成


3：手动打包全部xml


无论是爬虫群完成后自动导入并且导出的数据，还是手动打包后再导入导出的数据
都只有97条
请问有哪位大神碰到过类似的问题吗

会不会数据有重复的，

MebiuW 发表于 2018-11-5 12:29
会不会数据有重复的，

应该不会，首先这3000多个数据源上不会有重复的数据另外随机挑选了很多xml对比，没发现重复的

开发人员查了一下，你把一个规则编号删除了，采集的数据都是那个规则编号下的。所以你采集下来的数据，没有对应的规则，没法打包下载

maomao 发表于 2018-11-5 13:14
开发人员查了一下，你把一个规则编号删除了，采集的数据都是那个规则编号下的。所以你采集下来的数据，没有 ...

规则编号?
奇怪了，你们应该查得到当天我创建了4个规则，A调用B，所以是2套规则。
但第二套我是在第一套的基础上去复制的，引用-修改名称-另存为。
如果是规则里编号问题，应该这两套采集的数据都会有问题。
但另外另外一套采集的数据是没问题的。
我再重新新建规则来采集的试试吧。
回复真快，谢谢。