| 第一个故事：《醉汉路灯下找钥匙——大数据的研究方法可笑吗？》 反思了大数据研究方法问题，接下来我们看看所谓的大数据和全数据，价值在哪里？ 颠簸的街道——对不起，“n=All”只是一个幻觉 波士顿市政府推荐自己的市民，使用一款智能手机应用——“颠簸的街道（Street Bump，网站访问链接：http://www.streetbump.org/）”。这个应用程序，可利用智能手机中内置的加速度传感器，来检查出街道上的坑洼之处——在路面平稳的地方，传感器加速度值小，而在坑坑洼洼的地方，传感器加速度值就大。热心的波士顿市民们，只要下载并使用这个应用程序后，开着车、带着手机，他们就是一名义务的、兼职的市政工人，这样就可以轻易做到“全民皆市政”。市政厅全职的工作人员就无需亲自巡查道路，而是打开电脑，就能一目了然的看到哪些道路损坏严重，哪里需要维修，如图所示。
波士顿市政府也因此骄傲地宣布，“大数据，为这座城市提供了实时的信息，它帮助我们解决问题，并提供了长期的投资计划”。著名期刊《连线》（Wired）也毫不吝啬它的溢美之词：这是众包（Crowdsourcing）改善政府功能的典范之作。 众包是《连线》杂志记者Jeff Howe于2006年发明的一个专业术语，用来描述一种新的商业模式。它以自由自愿的形式外包给非特定的大众网络的做法。众包利用众多志愿员工的创意和能力——这些志愿员工具备完成任务的技能，愿意利用业余时间工作，满足于对其服务收取小额报酬，或者暂时并无报酬，仅仅满足于未来获得更多报酬的前景。 然而，从一开始，“颠簸的街道”的产品设计就是有偏的（bias），因为使用这款App的对象，“不经意间”要满足3个条件： （1）年龄结构趋近年轻，因为中老年人爱玩智能手机的相对较少； （2）使用App的人，还得有一部车。虽然有辆车在美国不算事，但毕竟不是每个人都有； （3）有钱，还得有闲。前面两个条件这还不够，使用者还得有“闲心”， 想着开车时打开“颠簸的街道”这个App。 想象一下，很多年轻人的智能手机安装的应用程序数量可能两位数以上，除了较为常用的社交软件如Facebook或Twitter（中国用户用得较多的是微博、微信等）记得开机运行外，还有什么公益软件“重要地”一开车就记得打开？ “颠簸的街道”的理念在于，它可以提供 “n=All（所有）”个坑洼地点信息， 但这里的“n=All（所有）”也仅仅是满足上述3个条件的用户记录数据，而非“所有坑洼点”的数据，上述3个条件，每个条件其实都过滤了一批样本，“n=All”注定是不成立的。在一些贫民窟，可能因为使用手机的、开车的、有闲心的App用户偏少，即使有些路面有较多坑洼点，也未必能检测出来。 《大数据时代》的作者舍恩伯格教授常用“n=All”，来定义大数据集合。如果真能这样，那么就无需采样了，也不再有采样偏差的问题，因为采样已经包含了所有数据。 畅销书《你的数字感：走出大数据分析与解读的误区》（Numbersense: How to Use Big Data to Your Advantage）的作者、美国纽约大学统计学教授Kaiser Fung，就毫不客气地提醒人们，不要简单地假定自己掌握了所有有关的数据： “N=All（所有）”常常仅仅是对数据的一种假设，而不是现实。 微软-纽约首席研究员Kate Crawford也指出，现实数据是含有系统偏差的，通常需要人们仔细考量，才有可能找到并纠正这些系统偏差。大数据，看起来包罗万象，但“n=All”往往不过是一个颇有诱惑力的假象而已。 “n=All”,梦想很丰满，但现实很骨感！ 但即使具备全数据，就能轻易找到隐藏于数据背后的有价值信息吗？请接着看下面的故事。 全文：深度|十个段子反思大数据 |
