爬虫群上线——增量、周期自动采集，再见crontab

        之前，规则的运行有两种方法：

        一是手工在DS打数机搜索出规则后再运行；另一种是写crontab爬虫程序来自动抓数据。

        量少的时候，第一种还可以接受；量多的时候写crontab更高效，但是每次增加规则都要修改一遍crontab程序，不小心弄错了代码就会失败。

        现在，爬虫群功能让您，不用去DS打数机运行，也不用写crontab程序。

        只需要打开爬虫群，每做好一个采集规则，去会员中心做一步操作把规则丢到调度池里，爬虫群就会自动帮你抓数据，也不用管它，等着收数据就行了。

       P.S.   区别于云采集——爬虫群模式，是在一台电脑里同时打开多个爬虫（即DS打数机窗口），通过设置较大的爬虫数量和合理的抓取速度，不仅有效防止IP封锁，还能抓到更多数据，是非常稳定且高效的本地采集模式。

             更多关于“爬虫群”请见http://www.gooseeker.com/doc/article-200-1.html

crontab.xml也不是完全说“bye-bye”，原先的配置方法和现在的爬虫群配置方法可以混合使用。比如如下场景：
1，爬数据需要自动登录，又不想把账号和密码配置到会员中心，那么就在本地crontab.xml中增加相关的描述：http://www.gooseeker.com/doc/article-92-1.html
2，当前是爬虫V5.5.2和会员中心V4.1，爬虫管理中心没有实现精确安排线索激活时间的功能，那么就要在客户端crontab.xml中增加一个renewClue线程，专门做激活

Fuller 发表于 2015-12-22 12:30
crontab.xml也不是完全说“bye-bye”，原先的配置方法和现在的爬虫群配置方法可以混合使用。比如如下场景： ...

好比高产出的工业制造和精雕细琢的手工艺制作能够并存

V8.1.1正式废弃了crontab.xml，因为要设置的选项太多了，使用难度很大，只给旗舰版用户保留了crontab.xml，可用于高频度增量采集