1701071203
1701071204
大数据解决“大问题”确实需要广泛的合作，这意味着大数据领域的“杀手级应用”也会在合作中诞生，而不仅仅是几个大公司之间的游戏。大公司的确对大数据的应用做出了很大的贡献。谷歌和Facebook作为世界上屈指可数的两个大数据公司，其贡献主要是实现了海量数据的实时处理。
1701071205
1701071206
我们简单回顾一下大公司在大数据处理上的技术史。谷歌的团队由杰夫·迪安（Jeff Dean）和桑杰·格玛沃尔特（Sanjay Ghemawat）（2004年左右）领导。他们开发了并行、分布式算法MapReduce，可以对大量的、多种类的服务器机群提供极大的扩展能力，解决了公司管理数十亿搜索查询数据以及与其他用户交互的实际问题。
1701071207
1701071208
Facebook的团队则开发了Cassandra（一套开源分布式非关系型数据库系统）。这个系统利用了亚马逊和谷歌的技术，解决了Facebook的数据管理问题。Facebook在2008年将其赠送给了阿帕奇开源社区。乔纳森·埃利斯（Jonathan Ellis）和马特·派菲儿（Matt Pfeil）于2010年在加州圣塔克拉利塔成立了DataStax公司。该公司使用Cassandra并把它发展成能够与甲骨文竞争的关键任务数据库管理系统，在业内数一数二。
1701071209
1701071210
2005年，一位雅虎的工程师道格·卡丁（Doug Cutting）和迈克·卡夫拉（Mike Cafarella）开发了一个分布式文件系统（HDFS），2006年以后我们称为Hadoop，用于在机群服务器上存储和处理大量的数据集。Hadoop曾经在雅虎内部使用并最终变成另一个阿帕奇的开源框架。此后，随着Hadoop成为行业标准，出现了不少以它为基础的大数据创业公司。与此同时，谷歌也开发了自己的大数据服务引擎Dremel（2010年才对外宣布，实际上2006年就已在内部使用）。
1701071211
1701071212
目前，我们确实还没有大数据领域的“iPhone”或“Facebook”之类的杀手级应用。但切记，相关的软件已经有了，而且是免费的。大数据的最大使用者谷歌和Facebook已经将它们的大数据基础设施做成了面向公众的开源软件，包括Facebook开发的Cassandra以及谷歌的诸多大数据技术服务。此外，其他不少由美国高校或政府研发的大数据分析软件也都是开源的。
1701071213
1701071214
为什么呢？因为我们想要越来越多的创业者在大数据领域探索和试验，甚至连大公司也希望更多的小公司能够参与进来。我们想要看一下是否有人能发明大数据领域的“杀手级应用”。
1701071215
1701071216
大公司将它们的大数据服务作为开源平台面向公众释放的信号是，即便竞争最激烈的商业领域也更看重合作而非竞争，这也是未来商业的大势所趋。
1701071217
1701071218
中国有潜力创造全新的大数据思维
1701071219
1701071220
毫无疑问，大数据时代确实需要一种全新的思维方式。因为数据有着多种多样的来源，任何一个专家（无论是人类还是机器）都不可能吸收所有的数据，这就要求跨学科的方法。
1701071221
1701071222
20世纪30年代，有两个人在美国开创了“大科学”，麻省理工学院的万尼瓦尔·布什（Vannevar Bush，“二战”时期美国最伟大的科学家和工程师之一）和欧内斯特·劳伦斯（Ernest Orlando Lawrence，美国著名物理学家、1939年诺贝尔物理学奖得主）。虽然两人合作的动机来自战争，而受益的是和平时期的社会。
1701071223
1701071224
布什和劳伦斯意识到解决大问题需要很多不同的思想：“大科学”正是将不同学科的科学家们聚集在一起。这种“大科学”方法给我们带来了很多影响深远的发明，比如核能和互联网。可以说，“大科学”就是“大数据”的最早应用，区别是数据当时都存在于不同科学家们的大脑里，但当时和现在使用的方法是相似的，即为了能用大数据解决大问题，我们需要一种跨学科的方法来创造、创新。
1701071225
1701071226
这样跨学科的研究机构已经在不断涌现。比如，哈佛大学量化社会科学研究所主任盖瑞·金（Gary King）就召集和组建了一个由社会学家、经济学家、物理学家、律师、心理学家等组成的研究团队（你可以从网站http://www.iq.harvard.edu/team-profiles上看到他们目前的阵容组成）。加州大学伯克利分校也建立了数据科学研究所（BIDS），成员中同样有人种志学者、神经系统科学家、社会学家、经济学家、物理学家、生物学家以及心理学家，甚至还包括一位地震学家。
1701071227
1701071228
实际上，用大数据解决大问题还有更早的例子，即古代中国。我认为，当今中国也最有潜力创造全新的大数据思维模型，因为中国人几百年前就已经发明并使用了这种思维。唐宋时期，理想的“君子”一定是一位跨学科的学者，他必须同时是政治家、历史家、作家、画家、诗人、书法家……他需要学习所有的经典书籍。可以说，中国早就创造了一种“多任务处理思维”，唐宋时期的读书人能够肩负起解决社会大问题的责任，正是由于他们从不同的领域吸收了足够多的知识。
1701071229
1701071230
有人会问，书法到底跟解决社会大问题有什么关系？当然有，它在无形中塑造着你的头脑和精神，让你更有智慧。而只要拥有一个足够智慧的大脑，不管面临什么问题，你总能找到正确的解决方案。
1701071231
1701071232
我认为，中国唐宋时期的思维方法毫不过时，如今中国在“大数据时代”寻求一种全新的“大数据思维”时不妨回溯历史，重新发现自己独有的处理复杂社会问题的方法。
1701071233
1701071234
1701071235
1701071236
1701071238
人类2.0：在硅谷探索科技未来 大数据时代，到底谁拥有未来
1701071239
1701071240
我希望未来我们将身边所有一切都用数据来表达时，我们仍有能力将数据理解成活生生的人，而不是数字。
1701071241
1701071242
普通民众更多是大数据的客体
1701071243
1701071244
杰伦·拉尼尔（Jaron Lanier）[1]在其《互联网冲击：互联网思维与我们的未来》（英文书名为Who Owns the Future，中信出版社，2014年5月出版）一书中认为，拥有全球业务的大公司如谷歌、Facebook，以及庞大的电商、银行等长久以来制造了一种严重的不正常局面。他们将用户免费提供的数据变成了利润丰厚的商品，普通民众虽然一直在贡献数据和价值，但没有得到任何回报。拉尼尔认为这会使得未来越来越掌握在少数大公司手中，他提出的解决方法是，所有在互联网上创造价值的人都应该分享价值，普通民众在贡献大量数据后也应该得到一定补偿。
1701071245
1701071246
我同意拉尼尔的观点。不过，我更感兴趣的是普通民众也能从数据的爆炸中获得更多知识，而非金钱的补偿。
1701071247
1701071248
知识的民主进程从法国启蒙运动时期就已经开始了，彼时，法国的哲学家们编辑了《百科全书》和全世界的普通民众分享知识。然后，普鲁士颁布强制教育法令，拉开了义务教育的序幕，其他国家纷起而效之，对于所有儿童来说，教育从此变成了强制性举措。然而，迄今为止，教育的不平衡在全球范围依然是个严重的问题。
1701071249
1701071250
如今，大数据可以允许我们完成知识民主化的目标。但遗憾的是，目前从大数据中受益的确实大多都是大公司（以及部分政府机构）。普通民众用诸如智能手机类的数字化工具来增进自己的“假性知识”（prosthetic knowledge）[2]，但很少有人知道该拿环绕我们身边的海量数据怎么办，该如何从中获取更多、更有用的真正的知识。
1701071251
1701071252
很多情况下，我们甚至都无法完整看到自己生产的数据（如电商、银行等），因为这些数据多被大公司所控制，这些大公司只管按照自己的意愿收集和整理这些数据（通常将数据用于商业计划或广告）。可以说，在大数据领域，普通民众更多的只是客体，而非主体。
[
上一页 ]
[ :1.701071203e+09 ]
[
下一页 ]