1700512519
1700512520
AI·未来 [:1700512213]
1700512521
深度学习发展简史
1700512522
1700512523
机器学习（machine learning，涵盖深度学习的一个人工智能技术领域）是一项改变历史的技术。这项技术历经了半个世纪纷乱无章的探索研究，最终幸存下来。自问世以来人工智能几经兴衰，每当人们以为看到了希望，紧接着就会迎来“人工智能寒冬”——由于缺乏落地的应用成果，导致研究经费大减。要了解深度学习为何能带来不同于以往的发展，就要回顾人工智能是如何走到今天的。
1700512524
1700512525
20世纪50年代中期，人工智能的先驱者们为自己制订了一个极其宏大且定义明确的使命：在机器上搭建人类智能。这项结合了明确目标与复杂任务的使命，吸引了新兴的计算机科学领域中最杰出的人士如马文·明斯基（Marvin Minsky）、约翰·麦卡锡（John McCarthy）、赫伯特·西蒙（Herbert Simon）。关于人工智能的这一切使一个1979年年初进入哥伦比亚大学计算机科学系的学生大开眼界，引发了这名学生对人工智能未来的无限遐想。
1700512526
1700512527
我在1961年出生于中国台湾，11岁时移居美国田纳西州，在那里完成了初中及高中学业。在哥伦比亚大学取得学士学位后，我决定开始钻研人工智能，同时申请了卡内基·梅隆大学计算机科学系的博士，那里是世界人工智能尖端研究的温床。1983年，我在博士生研究计划中针对这个领域写下了一段初生牛犊般的宣言：
1700512528
1700512529
人工智能是人类学习过程的阐明，人类思考过程的量化，人类行为的解释，以及对智能原理的了解。它是人类了解自身的最后一步，我希望投身这门新的、有前景的科学。
1700512530
1700512531
这段让我得以进入计算机系攻读博士的文字，显示了当时我对这个领域天真的理解：既高估了我们人类了解自身的能力，也低估了人工智能在特定领域产生超人智能的能力。
1700512532
1700512533
我开始攻读博士时，人工智能领域已经分化为两个阵营：其一是规则式（rule-based）方法，其二是神经网络（neural network）方法。规则式人工智能系统有时也称为符号式系统（symbolic systems）或专家系统（expert systems）。之所以称“专家系统”，是由于该阵营的研究人员认为，要使人工智能软件更好地适应现实世界，必须将相关领域的人类专家的智慧编写进软件。他们用一系列写好的逻辑规则来教导计算机如何思考，如“若X，则Y”。这种方法很适用于简单且定义明确的游戏（所谓的“玩具问题”——toy problems），但是当可能的选择或操作数目大增时，这种方法就行不通了。
1700512534
1700512535
“神经网络”阵营则另辟蹊径，他们不把人脑熟稔的逻辑规则传授给计算机，而是干脆在机器上重建人脑。科学研究结果已经得知，动物的智能只有一个源头——动物脑部错综复杂的神经元网络，于是这个阵营的研究人员决定从根源做起，模仿人脑结构，构建类似生物神经元网络的结构来收发信息。不同于规则式方法，人工神经元网络的建造者通常不会给人工智能系统设定决策规则，而只是把某一现象（图片、国际象棋赛、人声等）的大量例子输入人工神经元网络，让网络从这些数据中学习、识别规律。换言之，神经网络的原则是来自人的干预越少越好。
1700512536
1700512537
用这两种方法处理某个简单问题如“辨识一张图片里是否有猫”，就可以看出它们的差别。规则式方法确定以“若X，则Y”的逻辑规则来帮助程序做出决策：“若一个圆形物体上方有两块三角形，那么，这张图片中可能有一只猫。”神经网络方法则是把数百万张标示了“有猫”或“没有猫”的样本图片“喂”给计算机系统，让它自行从这数百万张图片中去辨察哪些特征和“猫”的标签最密切相关。
1700512538
1700512539
20世纪50年代到60年代，早期的人工神经网络获得了乐观且让人振奋的成果。但到了1969年时，规则式阵营予以还击，使得很多研究人员认为神经网络法不可靠且用途有限。神经网络方法很快“退烧”，人工智能随之在20世纪70年代陷入了早期的寒冬。
1700512540
1700512541
接下来数十年，神经网络方法在短暂的时间内恢复了一些声望，但后来又几乎被完全放弃。1986年，我使用一种近似神经网络、名为“隐马尔可夫模型”（Hidden Markov Models）的方法，建造出世界上第一套非指定语者连续性大词汇语音识别系统Sphinx。(5) 这项成就使我登上了《纽约时报》（The New York Times ）(6) ，该系统也被《商业周刊》（Business Week ）评为年度最重要创新产品，但这并没有改变神经网络法再度失宠的命运，几乎在整个20世纪90年代，人工智能再度陷入了冗长的寒冬期。
1700512542
1700512543
1700512544
1700512545
1700512546
1988年《纽约时报》专文报道：《和机器对话》（Talking to Machines ）
1700512547
1700512548
最终使神经网络法复活，并让人工智能再次复兴的，是神经网络系统赖以存在的两项要素出现的变化，再加上一项重大的技术性突破。神经网络需要大量的计算机运算力及数据：大量的样本数据输入系统，以“训练”程序去辨识形态，计算机运算力则让程序得以高速分析样本数据。
1700512549
1700512550
人工智能问世的20世纪50年代，数据来源不多，运算力也不强。互联网的崛起带来了海量的数据：文本、图像、视频和点击、购买的数据等。如此多的数据，成了研究人员手中源源不绝的试验材料，用来训练他们构建的人工神经网络。同时，他们可以使用的运算力也变得又强大又便宜。例如你手中智能手机的运算力，甚至比美国国家航空航天局1969年登月计划中最先进计算机的运算力还高出几百万倍。这两项变化结合起来，为神经网络法的发展提供了优良条件。
1700512551
1700512552
不过，人工神经网络能做的事仍然非常有限。复杂问题若要得出准确的结果，必须构建很多层的人工神经元，但神经元层数增加后，研究人员当时还未找到针对新增神经元有效的训练方法。在21世纪头10年的中期，深度学习这项重大的技术性突破终于到来，知名研究人员杰弗里·辛顿找到了有效训练人工神经网络中新增神经元层的方法。这就像是给旧的神经网络打了一针兴奋剂，使它们的能力倍增，可以执行更多、更复杂的工作，例如语音及物体识别。
1700512553
1700512554
性能大增的人工神经网络——现在有了新的名字“深度学习”——开始把旧的系统远远甩在身后。多年来对神经网络根深蒂固的成见让人工智能的许多研究人员忽略了这个已经取得出色成果的“边缘群体”，但2012年杰弗里·辛顿的团队在一场国际计算机视觉竞赛中的胜出(7) ，让人工神经网络和深度学习重新回到聚光灯下。
1700512555
1700512556
在边缘地带煎熬了数十年后，以深度学习的形式再次回到公众视野中的神经网络法不仅成功地让人工智能回暖，也第一次把人工智能真正地应用在现实世界中。研究人员、未来学家、科技公司CEO都开始讨论人工智能的巨大潜力：识别人类语言、翻译文件、识别图像、预测消费者行为、辨别欺诈行为、批准贷款、帮助机器人“看”，甚至开车。
1700512557
1700512558
AI·未来 [:1700512214]
1700512559
揭开深度学习的面纱
1700512560
1700512561
深度学习是怎么做到的呢？本质上来说，深度学习的算法使用了大量来自特定领域的数据，为想要的结果做出最佳决策。其方法是让系统使用这些输入的数据，训练自己识别数据和期望结果之间的关联性。当数据与期望结果直接相关（“猫”vs“非猫”，“点选”vs“未点选”，“赢了赛局”vs“输了赛局”）时，这个流程就容易多了。然后，算法可以运用找到的这些关联性所累积的庞大知识（其中很多是人类看不到或觉得无关的），做出比人类更好的决策。
1700512562
1700512563
这么做需要大量的相关数据、强大的算法、足够细化的领域以及明确的目标，欠缺任何一个都无法成功。数据太少则样本不够，算法无法发现有意义的联系；但如果目标太广泛，算法则缺乏衡量最优解的明确标准。
1700512564
1700512565
深度学习是所谓的“狭义人工智能”（narrow AI，或译作“弱人工智能”）——仅用于在特定领域能做出决策、预测和分类的人工智能应用。这已经能产生巨大价值，但仍远远未成为科幻片里的“通用人工智能”（general AI，或译作“强人工智能”）——人类能做的，人工智能都可以做。
1700512566
1700512567
深度学习最自然的应用领域是保险、贷款之类的金融业务，因为借款人的相关数据非常多（信用评分、收入、信用卡近期使用情况等），而最优的目标（降低还款违约率）很明确。更进一步的话，深度学习还可以进行自动驾驶，帮助车辆“看”到行驶的路况，如识别像素组成的形状（比如红色圆形），判断它和什么有关（比如红灯“禁行”），以此信息来做出决策（刹车并停车），以达到期望的结果（用最少的时间把我安全送到家）。
1700512568