利用爬虫群抓取的数据？

一、在爬虫群调度设置中勾选“数据入库”，等待爬虫群爬完数据后。在规则管理中，选择导出数据。下载文件后，看到生成的文件夹是下图格式。



这是一个规则抓取的结果，一个整理箱出一个文件夹？所以两个文件夹？
二、查看本地文件，发现多了几个文件夹，而且还有不少压缩文件。

怎么还会出现压缩文件？那所有的XML文件，都在imported文件夹中了吧？

一个整理箱对应一个excel文件。

勾选了“结果入库”以后，DS打数机会把结果文件一批批压缩以后发给数据仓库。原始文件放在imported中。如果压缩文件发送失败，放在harvestrecord中

Fuller 发表于 2016-9-28 20:54
一个整理箱对应一个excel文件。

勾选了“结果入库”以后，DS打数机会把结果文件一批批压缩以后发给数据仓 ...

我在DS打数机中抓取列表页的内容，为下级规则提供线索。列表页在DS打数机中正在进行的时候，此时，能再打开爬虫群，用多个窗口直接抓取下级详情页吗？

2445406817 发表于 2016-9-28 21:04
我在DS打数机中抓取列表页的内容，为下级规则提供线索。列表页在DS打数机中正在进行的时候，此时，能再打 ...

可以，不影响抓取，只是多了一个窗口而已

Fuller 发表于 2016-9-28 21:18
可以，不影响抓取，只是多了一个窗口而已

列表页没全部抓取完，也可以再打开爬虫群吧？相当于，边提供下级线索，边抓取下级的数据。等列表页全部抓完，再抓详情页，效率太低了。

2445406817 发表于 2016-9-28 21:49
列表页没全部抓取完，也可以再打开爬虫群吧？相当于，边提供下级线索，边抓取下级的数据。等列表页全部抓 ...

可以同时抓，不用等列表页结束