用gooseeker网络爬虫软件采集数据，运行时间长了，硬盘会占用很多，数据量最大的主要是三类数据：
如果占用的空间是在c盘上，就对操作系统影响很大，所以，一方面要规划好文件存储位置，另一方面要定期清理。 1，删除爬虫日志 如果爬虫运行久了，就会产生很多运行日志，日志文件是存在C盘的，要定时删除。下图所示，假定登录Windows的用户名是work，那么就会在C:\Users\work文件夹中存在一个 .metaseeker文件夹，注意这个文件夹名含有一个 . 号，通常是隐藏的。日志文件可能会有多个，名字都是以metaseeker.log开头的，当一个文件写到一定大小以后就会产生一个新的日志文件。这些日志文件随时都可以删除。
2，清理缓存文件 缓存文件最多的是html网页，也就是浏览历史，除此以外还有cookie等都比较小。这些内容存放在Windows的用户目录中，而用户目录是在系统盘C盘上，无法通过设定改向到其他硬盘，所以，定时清理这些数据十分重要。 2.1，通过爬虫界面清理缓存 点击浏览器右上角的设置小图标，“清除历史”->“清除所有”，勾选上“清除所有”，点击“清除”清理掉所有的缓存。
2.2，删除缓存文件夹清理缓存 如果爬的数据太久，缓存文件太大，用GS浏览器界面上的清除缓存功能会很慢，应该直接删除AppData文件夹中关于gooseeker的文件， 按照这个路径（C:\Users\当前电脑用户账号名\AppData），在appdata文件夹下找到local和roaming文件夹，分别在这两个文件找到gooseeker文件夹删除掉，缓存也就删除掉了。
3，清理采集结果文件 建议为网络爬虫设置专门的采集结果存放目录，不要放在C盘上。 3.1，清理采集结果文件 爬虫产生xml结果文件，放在DataScraperWorks文件夹中，可以直接把文件夹下的所有结果文件删除。
3.2，配置结果文件的生成路径 也可以设定结果文件夹的位置，在DS打数机菜单“文件”-> “存储路径”中设置，设置完成后采集的结果文件就会生成到配置的文件夹下。
4，Mac版本清理 MacOS的磁盘目录不一样，清理方法有些不同。 如果通过爬虫界面清理缓存，windows版和Mac版完全一样，如果直接删除缓存文件，差别很大，操作方法如下： 1）在Lauchpad的其他文件夹中找到“终端”，点击运行 2）在终端中输入以下命令
3）按顺序执行以上步骤，最后一步进入的文件夹名字每个人的可能不一样，都是.default为后缀。进入以后，执行以下命令
就完成了cookie的删除。 4）上面列出来的5步命令也可以执行到第2步，然后把整个GooSeeker文件夹都删除，这样连浏览历史加cookie等缓存全部清除了。 5，总结 爬虫每爬一个网页，会记录一个缓存，所以一定要清理缓存，而且缓存一定是在c盘上，爬虫运行很久后会产生很多缓存和结果文件，通过删除缓存文件和结果文件，或者配置采集结果的存储路径来清理c盘。至于采集结果文件的存放，建议设置成数据盘的目录，不要存在C盘上。 |
