1703947571
1703947572
大数据洞察
1703947573
1703947574
如今，我们已经生活在信息时代。我们掌握的数据库越来越全面，它不再只包括我们手头现象的一点点可怜的数据，而是包括了与这些现象相关的大量甚至全部数据。我们不再需要那么担心某个数据点对整套分析的不利影响。我们要做的就是要接受这些纷繁的数据并从中受益，而不是以高昂的代价消除所有的不确定性。
1703947575
1703947576
在华盛顿州布莱恩市的英国石油公司（BP）切里波因特（Cherry Point）炼油厂里，无线感应器遍布于整个工厂，形成无形的网络，能够产生大量实时数据。酷热的恶劣环境和电气设备的存在有时会对感应器读数有所影响，形成错误的数据。但是数据生成的数量之多可以弥补这些小错误。随时监测管道的承压使得BP能够了解到，有些种类的原油比其他种类更具有腐蚀性。以前，这都是无法发现也无法防止的。
1703947577
1703947578
有时候，当我们掌握了大量新型数据时，精确性就不那么重要了，我们同样可以掌握事情的发展趋势。大数据不仅让我们不再期待精确性，也让我们无法实现精确性。然而，除了一开始会与我们的直觉相矛盾之外，接受数据的不精确和不完美，我们反而能够更好地进行预测，也能够更好地理解这个世界。
1703947579
1703947580
值得注意的是，错误性并不是大数据本身固有的。它只是我们用来测量、记录和交流数据的工具的一个缺陷。如果说哪天技术变得完美无缺了，不精确的问题也就不复存在了。错误并不是大数据固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在。因为拥有更大数据量所能带来的商业利益远远超过增加一点精确性，所以通常我们不会再花大力气去提升数据的精确性。这又是一个关注焦点的转变，正如以前，统计学家们总是把他们的兴趣放在提高样本的随机性而不是数量上。如今，大数据给我们带来的利益，让我们能够接受不精确的存在了。
1703947581
1703947582
大数据先锋
1703947583
1703947584
麻省理工与通货紧缩预测软件
1703947585
1703947586
“10亿价格项目”（The Billion Prices Project，BBP）提供了一个有趣的例子。美国劳工统计局的人员每个月都要公布消费物价指数（CPI），这是用来测试通货膨胀率的。这些数据对投资者和商家都非常重要。在决定是否增减银行利率的时候，美联储也会考虑消费指数。一旦发生通货膨胀，工人工资也会增加。联邦政府在支付社会福利和债券利息的款项时，这项指数也是他们参考的依据。
1703947587
1703947588
联邦政府为了得到这些数据，会雇用很多人向全美90个城市的商店、办公室打电话、发传真甚至登门拜访。他们反馈回来的各种各样的价格信息达80000种，包括土豆的价格、出租车的票价等。政府采集这些数据每年大概需要花费两亿五千万美元。这些数据是精确的也是有序的，但是这个采集结果的公布会有几周的滞后。2008年的经济危机表明，这个滞后是致命的。政策决策者为了更好地应对变化，需要及时了解通货膨胀率，但如果以传统的依赖采样和追求精确的方式进行数据收集，政府就不可能及时获得数据了。
1703947589
1703947590
麻省理工学院（MIT）的两位经济学家，阿尔贝托·卡瓦略（Alberto Cavell）和罗伯托·里哥本（Oberto Rigobon）就对此提出了一个大数据方案，那就是接受更混乱的数据。通过一个软件在互联网上收集信息，他们每天可以收集到50万种商品的价格。收集到的数据很混乱，也不是所有数据都能轻易进行比较。但是把大数据和好的分析法相结合，这个项目在2008年9月雷曼兄弟破产之后马上就发现了通货紧缩趋势，然而那些依赖官方数据的人直到11月份才知道这个情况。[3]
1703947591
1703947592
MIT的这个项目汇集了数百万的产品，它们被数百个零售商卖到了70多个国家。这个项目产生的一个名为PriceStats的商业方案也经常被一些银行和其他经济决策人用到。当然，收集到的数据需要仔细的分析，而且这些数据更善于表明价格的发展趋势而不是精确的价格。但是因为PriceStats收集到了更多的价格信息而且大多是即时的，所以这对决策者来说就非常有益了。
1703947593
1703947595
混杂性，不是竭力避免，而是标准途径
1703947596
1703947597
确切地说，在许多技术和社会领域，我们更倾向于纷繁混杂。我们来看看内容分类方面的情况。几个世纪以来，人们一直用分类法和索引法来帮助自己存储和检索数据资源。这样的分级系统通常都不完善——各位读者没有忘记图书馆卡片目录给你们带来的痛苦回忆吧？在“小数据”范围内，这些方法就很有效，但一旦把数据规模增加好几个数量级，这些预设一切都各就各位的系统就会崩溃。
1703947598
1703947599
相片分享网站Flickr在2011年拥有来自大概1亿用户的60亿张照片。根据预先设定好的分类来标注每张照片就没有意义了。难道真会有人为他的照片取名“像希特勒一样的猫”吗？
1703947600
1703947601
恰恰相反，清楚的分类被更混乱却更灵活的机制所取代了。这些机制才能适应改变着的世界。当我们上传照片到Flickr网站的时候，我们会给照片添加标签。也就是说，我们会使用一组文本标签来编组和搜索这些资源。人们用自己的方式创造和使用标签，所以它是没有标准、没有预先设定的排列和分类，也没有我们必须遵守的类别的。任何人都可以输入新的标签，标签内容事实上就成为了网络资源的分类标准。标签被广泛地应用于Facebook、博客等社交网络上。因为它们的存在，互联网上的资源变得更加容易找到，特别是像图片、视频和音乐这些无法用关键词搜索的非文本类资源。[4]
1703947602
1703947603
当然，有时人们错标的标签会导致资源编组的不准确，这会让习惯了精确性的人们很痛苦。但是，我们用来编组照片集的混乱方法给我们带来了很多好处。比如，我们拥有了更加丰富的标签内容，同时能更深更广地获得各种照片。我们可以通过合并多个搜索标签来过滤我们需要寻找的照片，这在以前是无法完成的。我们添加标签时所固带的不准确性从某种意义上说明我们能够接受世界的纷繁复杂。这是对更加精确系统的一种对抗。这些精确的系统试图让我们接受一个世界贫乏而规整的惨象——假装世间万物都是整齐地排列的。而事实上现实是纷繁复杂的，天地间存在的事物也远远多于系统所设想的。
1703947604
1703947605
互联网上最火的网址都表明，它们欣赏不精确而不会假装精确。当一个人在网站上见到一个Facebook的“喜欢”按钮时，可以看到有多少其他人也在点击。当数量不多时，会显示像“63”这种精确的数字。当数量很大时，则只会显示近似值，比方说“4000”。这并不代表系统不知道正确的数据是多少，只是当数量规模变大的时候，确切的数量已经不那么重要了。另外，数据更新得非常快，甚至在刚刚显示出来的时候可能就已经过时了。所以，同样的原理适用于时间的显示。谷歌的Gmail邮箱会确切标注在很短时间内收到的信件，比方说“11分钟之前”。但是，对于已经收到一段时间的信件，则会标注如“两个小时之前”这种不太确切的时间信息。
1703947606
1703947607
2000年以来，商务智能和分析软件领域的技术供应商们一直承诺给客户“一个唯一的真理”。执行官们用这个词组并没有讽刺的意思，现在也依然有技术供应商这样说。他们说这个词组的意思就是，每个使用该公司信息技术系统的人都能利用同样的数据资源，这样市场部和营销部的人员们就不需要再在会议开始前争论，到底是谁掌握了正确的客户和销售数据了。这个想法就是说，如果他们知道的数据是一致的，那么他们的利益也会更一致。
1703947608
1703947609
但是，“一个唯一的真理”这种想法已经彻底被改变了。现在不但出现了一种新的认识，即“一个唯一的真理”的存在是不可能的，而且追求这个唯一的真理是对注意力的分散。要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的。
1703947610
1703947611
我们甚至发现，不精确已经渗入了数据库设计这个最不能容忍错误的领域。传统的数据库引擎要求数据高度精确和准确排列。数据不是单纯地被存储，它往往被划分为包含“域”的记录，每个域都包含了特定种类和特定长度的信息。比方说，某个数值域是7个数字长，一个1000万或者更大的数值就无法被记录。一个人想在某个记录手机号码的域中输入一串汉字是“不被允许”的。想要被允许也可以，需要改变数据库结构才可以。现在，我们依然在和电脑以及智能手机上的这些限制进行斗争，比如软件可能拒绝记录我们输入的数据。
1703947612
1703947613
索引是事先就设定好了的，这也就限制了人们的搜索。增加一个新的索引往往既消耗时间，又惹人讨论，因为需要改变底层的设计。传统的关系数据库是为数据稀缺的时代设计的，所以能够也需要仔细策划。在那个时代，人们遇到的问题无比清晰，所以数据库被设计用来有效地回答这些问题。
1703947614
1703947615
但是，这种数据存储和分析的方法越来越和现实相冲突。我们现在拥有各种各样、参差不齐的海量数据。很少有数据完全符合预先设定的数据种类。而且，我们想要数据回答的问题，也只有在我们收集和处理数据的过程中才会知道。
1703947616
1703947618
新的数据库设计的诞生
1703947619
1703947620
这些现实条件导致了新的数据库设计的诞生，它们打破了关于记录和预设场域的成规。预设场域显示的是数据的整齐排列。最普遍的数据库查询语言是结构化查询语言，英文缩写为“SQL”——它的名字就显示了它的僵化。但是，近年的大转变就是非关系型数据库的出现，它不需要预先设定记录结构，允许处理超大量五花八门的数据。因为包容了结构多样性，这些数据库设计就要求更多的处理和存储资源。但是，一旦考虑到大大降低的存储和处理成本，这就是一个我们支付得起的公平交易。
[
上一页 ]
[ :1.703947571e+09 ]
[
下一页 ]