1703785970
1703785971
1703785972
1703785973
1703785975
非显著趋势:如何把握即将到来的机会 趋势十五 数据泛滥(Data Overflow)
1703785976
1703785977
非显著之处何在?
1703785978
1703785979
不断增长的个人数据、企业数据与开放数据交相汇合,带来了新的挑战,仅凭算法已经无法处理,人们转而依靠性能更强的人工智能、更灵活的筛选推敲和更多的创业投资。
1703785980
1703785981
大数据越来越大,小数据越来越小——两者的交汇开始带来某些严重的问题。
1703785982
1703785983
虽然商业界不断地谈论大数据,谈论如何采集更多信息,2015年我却引入了“小数据”的概念,描绘越来越多的消费者利用智能设备和社交平台收集自身数据,并借此获得更好的服务、更优惠的价格和更满意的产品。我认为,未来属于这样的品牌:能够找到各种途径吸引消费者分享小数据,并与已采集的大数据相结合。
1703785984
1703785985
未来一年里,大数据和小数据的混合还会引发相关的新问题:数据泛滥——任何收集数据的公司都将十分烦恼,因为它们很快将被巨大的数据量掩埋。乍一看,似乎你以前听说过这种泛滥。
1703785986
1703785987
有时候这也叫“数据过载”——许多文章已经谈到数据收集过多的危害,谈到许多人和机构有时为了理解获得的数据而付出的无用功。“数据泛滥”这一趋势描绘的是这种混乱状态的下一阶段,消费者自行采集的“小数据”和企业采集的“大数据”相互交汇,会被第三种数据搅得更加让人困惑。第三种数据就是那些往往毫无用处、非结构化、缺失元数据的“开放数据”。在信息透明或遵守法规的名义下,公司和政府部门正将这种数据一股脑儿地扔到互联网上。
1703785988
1703785989
举一个数据泛滥迅速蔓延的例子,政府实验室指数(GovLab Index)跟踪了开放数据的发展趋势,发布年度报告,披露各国政府采用开放数据的相关情况。最新一期报告提出了一些发人深省的观点。
1703785990
1703785991
● 各国政府已经公开超过100万个数据集。
1703785992
1703785993
● 这些数据集中,既可用计算机进行处理又获得开放许可的,还不到7%。
1703785994
1703785995
● 96%的国家分享的数据集并没有进行定期更新。
1703785996
1703785997
● 2015年,全世界共有接近400个公开的政府数据门户(六年前只有两个)。
1703785998
1703785999
很明显,开放数据的总量每年呈现指数级增长,问题却在于这些数据大部分也许并无价值。开放数据企业中心(Centre for Open Data Enterprise)的乔尔·古林(Joe Gurin)在接受《经济学人》(The Economist)采访时做出估计,已经发布的数据中也许有4/5并不是特别有用,原因是没有元数据或未经标准化处理,缺乏必要的背景资料。
1703786000
1703786001
处理这些杂乱数据的最佳方法是什么?数据泛滥能够解决吗?为了找到答案,让我们来看看一群科学家如何破解一道难题……这道难题出现在地球上最危险也最先进的地方。
1703786002
1703786003
破译超大型对撞机的数据
1703786004
1703786005
大型强子对撞机(LHC)就像是科幻小说里的实验机器一般。大型强子对撞机是同类机器中最大的一台,由欧洲核子研究委员会(CERN)联合100个国家的10000名科学家共同建成,坐落在法国和瑞士边界地下一条17英里长的隧道中。对撞机的作用就是让物理学家测试粒子的对撞情况,拓展人类对物理世界的理解。
1703786006
1703786007
这一技术壮举面临的主要挑战不是如何引发对撞,而是如何理解对撞产生的万亿字节的数据。数据之海量,即使最复杂的算法都无法处理;数据之微妙,即使最智慧的科学家利用速度最快的计算机都难以理解。事实上,大型强子对撞机研究团队并非面临这一问题的唯一一群科学家。
1703786008
1703786009
例如,2015年年底eLife期刊的一篇文章中,细胞生物学家罗伯特·英索尔(Robert Insall)引发了一场行业论争。他说到自己采访的大多数高级研究员都担心,每年新发布的数量惊人的生物医学研究论文将会降低整个行业的可信度。
1703786010
1703786011
2015年,谷歌和IBM都发表了重大声明,将为技术社区创造更多的开放源码库、工具和指南,推动自家人工智能平台(分别是TensorFlow和沃森)进一步发展。两家公司的目标都是激发更多开发者利用“深度学习”开创新项目。深度学习是机器学习的一个领域,它让机器具备更多直觉,更接近真正的人工智能。
1703786012
1703786013
随着时间流逝,人工智能和深度学习自然会经历大量的研究,检验价值存疑的开放数据,协助打通各种联系,催生新发现。人工智能有望帮助研究大型强子对撞机的科学家和不知所措的生物医学研究人员挖掘所有数据的含义。
1703786014
1703786015
随着科学界测试新的人工智能解决方案应对这一数据挑战,全球其他行业也将围观他们的一举一动——其中包括几个自身数据泛滥的行业。
1703786016
1703786017
农业科技:越来越多的农业数据
1703786018
1703786019
农业极好地展现了数据泛滥给我们带来的现实挑战。这个行业里,数据正泛滥成灾。如今一个农场就能提供堆积如山的数据,它们来自土壤里的传感器、农场动物身上的可穿戴追踪器,还有监控作物的无人机。
[
上一页 ]
[ :1.70378597e+09 ]
[
下一页 ]