1703929004
1703929005
2000年以来互联网高速发展，在商业领域为大数据的智能化分析和浅层学习模型提供了前所未有的应用空间。其中最成功的案例包括谷歌的AdWords（关键词竞价广告），百度的凤巢系统，雅虎、微软的搜索引擎和各类基于内容的推荐系统等。
1703929006
1703929007
2006年，加拿大多伦多大学教授杰弗瑞·辛顿和他的学生鲁斯兰·莎拉哈特迪诺夫在《科学》杂志上发表了一篇文章，提出了两个重要观点：第一，很多隐层的人工神经网络具有优异的特征学习能力，能通过数据样本学习得到更能对数据本质特征进行刻画的变量，从而更为有效地实现可视化或分类；第二，可以通过逐层初始化来克服深度神经网络在训练上的难度，以此开启了机器学习在学术界和工业界的第二次浪潮。由于这一次机器学习浪潮涉及多隐层神经网络，即深度神经网络，它也被称为“深度学习浪潮”。
1703929008
1703929009
自2006年以来，深度学习在学术界和应用领域持续升温。2013年4月，《麻省理工学院技术评论》杂志更是将“深度学习”列为2013年10大突破性技术之首。
1703929010
1703929011
今天谷歌、微软、百度等拥有大数据的著名高科技公司争相投入资源，占领深度学习的技术制高点。这些世界顶级计算机和互联网科技公司对于深度学习的高度重视并非偶然，恰是因为它们都看到了在大数据时代，更加强大的深度模型能真正有效揭示海量数据里所承载的复杂而丰富的商业信息，为创造新的服务产品和提高服务质量创造真正机遇，也为掌握这些技术的公司提供最为牢靠的竞争壁垒。
1703929012
1703929013
大数据与机器深度学习
1703929014
1703929015
在工业界一直有这样一个很流行的观点：在大数据条件下，简单的线性机器学习模型往往要比复杂模型更加有效。而最近学界在深度学习领域所取得的巨大进展，促使我们开始重新思考这个观点。也许在大数据情况下，只有通过以更有效的方式运用更强大的深度模型，才能让我们从正在以前所未有的速度积累的大数据中发掘出更多有价值的信息和知识。
1703929016
1703929017
为什么大数据需要深度学习模型？我们先用一个简单例子来进行说明。语音识别是一个涉及大数据和机器学习的领域，因为我们通常要使用十亿到千亿级别的训练样本来完成声学建模。在谷歌的一个语音识别实验中，人们发现训练后的DNN（深层神经网络）在训练样本和测试样本的预测误差基本相当。这个结果让人感到非常吃惊，因为通常DNN的参数会根据测试样本进行调整以降低训练样本的预测误差，因此，DNN在训练样本上的预测误差往往会显著小于测试样本。唯一能够解释这样一个反常结果的原因就是与语音关联的大数据含有高纬度的信息结构，即便是DNN这样的高容量复杂模型也只能侦测到其中一小部分。从这个简单的例子中我们可以看出，大数据确实需要深度学习。
1703929018
1703929019
接下来，我们再比较浅层学习和深度学习，以便充分理解使用深度模型来分析大数据的必要性。
1703929020
1703929021
浅层学习有一个重要特点，就是假设系统依靠人工经验来决定样本的特征，同时强调模型主要是负责对既定的样本特征进行分类或预测。这样一来，在模型被正确使用的前提下，所选定的样本特征的好坏就成为整个系统性能的瓶颈。举一个简单的例子，在区分动物种类的时候，人们通过观察和经验选取了体重作为分类特征，然后依据每种动物的平均体重以及波动幅度来对它们进行区分。在这种情况下，当两种动物在体重上相差无几，譬如老虎与狮子、苍蝇和蜜蜂，人们就只能将它们归为一类，而不能再进行区别。因此，通常在给定浅层学习模型的条件下，一个数据模型开发团队中更多的人力是要投入到发掘更好的特征上去的，即确定模型的变量结构。而要发现一个好特征，就要求开发人员对需要解决的问题有非常深入的理解。而要达到这个程度，往往需要开发人员花费大量时间在理论层面反复探究和摸索数据对象的本质特征，有时甚至是数年磨一剑。因此，在人工设计样本特征的情况下，即使开发团队掌握再多数据资源也无法迅速提升模型功效。
1703929022
1703929023
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习和鉴别更有用和有效的特征，在许多方面替代原先开发人员所做的特征研发工作，从而更快地提升分类或预测的准确性。简而言之，深度学习是以深度模型为手段，以特征学习为目的进行数据学习。而深度学习区别于浅层学习的地方在于强调了模型结构的深度和突出了特征学习的重要性。用技术性语言来表述就是通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，使分类或预测更加容易。在刚才所举的动物分类的例子中，体重是唯一区分动物类别的特征。而采用深度学习以后，人们就不再人为地来决定分类特征，而是将所有描述动物性征如毛发、身长等的大数据作为研究分析对象，通过深度模型先决定到底哪种性征组合更能被用来有效地区分动物的种类，将其确定为分类特征，然后再通过浅层学习对动物加以有效区分。
1703929024
1703929025
通过以上比较，我们不难看出，与通过人工规则来构造特征的方法相比，利用大数据来学习特征，能更主动有效地刻画数据丰富的内在信息特征结构。所以，我们深信在未来的几年里，在不同的研究和实践领域，我们将看到越来越多的深度模型，而非浅层线性模型，被应用于大数据的成功案例。接下来，我们再介绍几个深度学习在大数据分析中的典型应用，包括语音识别、图像识别、自然语言处理（NLP）和自然用户界面（NUI）。
1703929026
1703929027
语音识别
1703929028
1703929029
长期以来，语音识别系统采用混合高斯模型描述每个建模单元的统计概率模型。这种模型的特点是估计简单，适合海量数据训练，同时有成熟的区分度训练技术支持。但该类模型本质上是一种浅层网络建模，它在描述特征的状态空间分布和特征之间的相关性，以及区分模式等方面受到浅层学习的结构性约束，能力有限。
1703929030
1703929031
微软研究院语音识别专家邓立和俞栋从2009年开始和杰弗瑞·辛顿合作，用机器深度学习开发新型语音识别方法。2011年，微软宣布基于深度神经网络的识别系统取得成果并推出产品，彻底改变了语音识别原有的技术框架。
1703929032
1703929033
深度神经网络可以充分描述特征之间的相关性，并可以把连续多帧的语音特征并在一起构成一个高维特征，最终采用高维特征训练进行模拟。这种多层次特征学习结构和人脑处理语音图像信息有很大的相似性。深度神经网络的建模技术在实际线上服务时，能够无缝地与传统的语音识别技术相结合，在不引起任何系统额外耗费情况下，大幅度提升了语音识别系统的识别率。
1703929034
1703929035
例如，百度在实践中发现，采用DNN进行声音建模的语音识别系统相比于传统的混合高斯模型语音识别系统而言，相对误识别率能降低25%。百度于2012年11月上线了第一款基于DNN的语音搜索系统，成为最早采用DNN技术进行商业语音服务的公司之一。
1703929036
1703929037
图像识别
1703929038
1703929039
图像是深度学习最早尝试的应用领域。早在1989年，受到了著名的Hubel–Wiesel生物视觉模型的启发，纽约大学教授燕乐存和他的同事们就开始研究CNN（卷积神经网络）。CNN是一种带有卷积结构的深度神经网络，通常至少有5个隐含层，包括两个非线性可训练的卷积层、两个非线性的固定卷积层和一个全连接层。但在很长时间里，由于没有更有效的计算机算法和足够强大的计算能力配合，CNN虽然在小规模的机器学习问题上取得过很好的学习效果，如手写数字，但一直没有在大规模图像识别领域上取得过显著的发展。2012年10月，借助算法和图形处理器带来的计算能力的增强，杰弗瑞·辛顿和他的学生在著名的ImageNet（视觉数据池）问题上用更深的CNN取得了世界最好结果，使得图像识别技术取得重大突破。在辛顿的模型里，输入的就是图像的像素，没有用到任何的人工特征。
1703929040
1703929041
百度在2012年年底也将深度学习技术成功应用于自然图像光学字符识别和人脸识别。2013年，百度将深度学习模型成功应用于一般图片的识别和理解。从百度的经验来看，深度学习应用于图像识别不但提升了准确性，而且避免了人工特征抽取的时间消耗，从而提高了在线计算效率。
1703929042
1703929043
自然语言处理
1703929044
1703929045
除了语音和图像，深度学习的另一个应用领域是NLP。经过几十年的发展，虽然统计模型已成为研究NLP问题的主要手段，但作为统计方法之一的人工神经网络在NLP领域几乎没有受到重视。2003年，加拿大蒙特利尔大学教授约书亚·本吉奥等人提出用嵌入的方法将词映射到一个矢量表示空间，然后用非线性神经网络来表示N–Gram语言模型，开始在NLP领域应用神经网络。而NEC美国研究院是世界上最早将深度学习用于NLP研究工作的。斯坦福大学教授克里斯·曼宁等人最近也将深度学习用于NLP。总体来看，深度学习在NLP上取得的进展还没有像在语音和图像领域上那么令人印象深刻，但由于语言是完全由人类大脑产生和处理的符号系统，模仿人脑结构的人工神经网络，特别是深度学习，在NLP方面应该有很大的探索空间。
1703929046
1703929047
自然用户界面
1703929048
1703929049
机器学习技术的发展，催生了人机接口技术的不断改进: 从早期的穿孔纸带、面板开关和显示灯等交互装置，发展到今天的视线追踪、语音识别、感觉反馈等具有多种感知能力的交互装置。用户界面的发展历经了批处理、命令行（CLI）、图形界面（GUI）三个阶段，现在进入了NUI阶段。
1703929050
1703929051
NUI是一种新兴的人机交互方法，通过触控、手势技术使人机交互变得更加自然直观、更为人性化，实际的应用程序包括微软平板电脑Surface、苹果手机iPhone和一些采用Windows Mobile（微软移动设备操作系统）的手机。而在Windows 8（微软操作系统视窗8）中，触控技术也首次被应用在计算机操作系统，为用户提供了比键盘、鼠标更直观和新颖的控制方式。从苹果手机iPhone4S开始，苹果手机增加了利用语音识别技术实现人机交互的Siri应用程序。Siri能够与用户聊天，为用户管理手机、日程、搜索信息，让用户和整个业界看到了人机交互的力量和未来。
1703929052
1703929053
机器学习之于金融投资行业
[
上一页 ]
[ :1.703929004e+09 ]
[
下一页 ]