本文摘自数据分析网：http://www.afenxi.com/post/6222
第一部分：数据源 数据是整个数据生态系统的源头。总的来说，数据源可分为数据库、应用和第三方数据三类。 1，数据库
结构化数据库早于非结构化数据库出现。结构化数据库每年有约250亿美元的市场，你可以在数据生态系统图里看到众所周知的Oracle，和一些新创公司譬如MemSQL等。结构化数据库储存有限的数据列，一般由结构化查询语言(SQL)运行，用于数据可靠完善至关重要的领域，比如说财政和运营。 对结构化数据库有一个重要假设，那就是查询数据时必须能得到一致且完善的结果。想一想谁绝对需要这样一种结构化数据库？对了，就是你的银行。它们存储账户信息、个人姓名、借款等等，必须随时分毫不差地知道你账户中的金额。 而另外一种则是非结构化数据库。情理之中，非结构化数据库是由数据专家们开拓的，因为数据专家眼中的数据与账户并不相同。数据专家不太在意查询结果绝对一致，他们更关注数据的灵活性。因此，非结构化数据在许多方面降低了对数据存储和查询的要求。 很多非结构化数据库是谷歌获得成功的直接产物。谷歌尝试把互联网存储在数据库中，其野心和工程之庞大可想而知。MapReduce是一种用于这种数据库的技术，虽然它一定程度上没有结构化查询语言 (SQL)那么强大，但是用户可以依据需要来调整和扩充它们的数据。MapReduce的数据使用甚至已经超出了谷歌的初始预期。比如现在谷歌可以在所有网站间查询，并根据网站之间的互相链接来调整搜索结果。这种可量化的灵活查询使谷歌获得了巨大的竞争优势，因此雅虎和其他公司以巨额投资来开发这种技术的开源版本，名叫Hadoop。 此外，非结构化数据库通常所需的储存空间通常更小。在过去数据存储十分昂贵，因此几年前，一些主要的互联网公司不得不每隔几个月就清空一次数据库。现在这种情况已难以想象了。 从强大的推荐引擎，到世界级的翻译系统，到令人难以置信的存货管理，都建立于这些数据之上。 非结构化数据库一般来说没有结构化数据库那么精确，但对于许多应用（尤其是数据科学界），这个折衷是值得的。举例来说，
2，商业应用
十年前，没有人想过能把重要的商业数据存在云端，如见这却早已成为了现实。这也许是商业的IT基础结构的最大转变之处。 我在数据库生态系统中列出了四种主要的商业应用，分别是销售、营销、产品和消费者，每一种功能都有多种SaaS应用可供选择。 SalesForce 应该是首先掀起这股趋势的并最先获得成功的。他们把软件开发的目标人群是终端用户（销售团队），而非单个的首席技术官。这对他们的用户十分有用，在此过程中，大家也能看到公司客户能够信任地把重要公司数据放在云端。 销售数据不再存在于用户自己安装的内部数据库，而是被放在云端，由致力于保证数据可用且稳定的云端公司提供服务。 其他公司也纷纷效仿这种做法。如今基本上每个商业部门都有一个对应的数据应用。
为什么这是相关的呢？如今每个商业部门都有强大的数据库，由数据专家分析并用于预测分析。数据量很大，却零散地分布在多个应用之中。比如说你在SugarCRM 中查看某个消费者的信息，但是当你想知道这名顾客的服务记录时，需要去ZenDesk中查看。而如果你想要知道他是否支付了最近的账单，则要去查Xero。所有的数据都被存放在不同的地点，网站和数据库中。 商业数据被转移到了云端，可以存放更多的数据了，但是这些数据被零散地存放在全世界的不同服务器的不同应用里。 3，第三方数据
第三方数据出现得比结构化和非结构化数据库都早得多。Dun & Bradstreet从1841年就开始卖数据了。随着数据对每个机构都愈发重要，这个领域也将会获得长足的发展。在数据库生态系统图中，我大体把第三方数据分成四个领域，分别是
3.1，商业信息数据 商业信息数据开始最早。我上面提到了Dun & Broadstreet，商业数据购买对许多商业机构来说都至关重要。商业数据能回答所有B2B公司至关重要的问题：我们的销售团队该找谁谈？如今，这些数据更被扩展应用至网上地图和高频交易等领域。 新创的数据卖方如Factual，不仅售卖商业数据，更倾向于从这些高盈利的新型领域起步。 3.2，社交媒体数据 社交媒体数据虽然是新兴产物，但发展很快。 通过智能PR公司对社交媒体中的文本作情感分析，营销人员能够切实地了解到品牌热度与影响力，并有效评估品牌价值。 你可以从Radian6 和DatSift里看到全部细节。 3.3，网络爬虫 接下来我们来看看网络爬虫，我个人认为这是一个很有发展潜力的领域。如果能够把所有网站都作为数据源，由数据科学团队发展和分析，真不知道还有多少新型商业和技术会由此而生。如今从事网络爬虫的重要公司包括 import.io和kimono，我认为这个领域将在接下来几年呈现爆炸式的增长。 3.4，公众数据 最后，当然还要提及公众数据。如果没有数据专家团队的支持， 不知道奥巴马总统是否还能够赢得2004年的大选，这可能也是后来奥巴马大力推动 Data.gov 的原因。许多地方政府也紧随其后。 亚马逊网络服务 存放了许多惊人的公众数据，囊括从卫星图像到安然公司的邮件等各个方面。这些庞大的数据系列可以帮助扩大新型商业，训练更智能的算法，并解决许多实际问题。 这个领域发展快速，甚至出现了 Enigma.io 这种专门帮助企业使用公众数据的公司。 3.5，开源工具 |
