1700538643
1700538644
1700538645
1700538646
ResNet通过调整网络结构来解决上述问题。首先考虑两层神经网络的简单叠加（见图9.23（a）），这时输入x经过两个网络层的变换得到H(x)，激活函数采用ReLU。反向传播时，梯度将涉及两层参数的交叉相乘，可能会在离输入近的网络层中产生梯度消失的现象。ResNet把网络结构调整为，既然离输入近的神经网络层较难训练，那么我们可以将它短接到更靠近输出的层，如图9.23（b）所示。输入x经过两个神经网络的变换得到F(x)，同时也短接到两层之后，最后这个包含两层的神经网络模块输出H(x)=F(x)+x。这样一来，F(x)被设计为只需要拟合输入x与目标输出的残差，残差网络的名称也因此而来。如果某一层的输出已经较好的拟合了期望结果，那么多加入一层不会使得模型变得更差，因为该层的输出将直接被短接到两层之后，相当于直接学习了一个恒等映射，而跳过的两层只需要拟合上层输出和目标之间的残差即可。
1700538647
1700538648
1700538649
1700538650
1700538651
图9.23 ResNet结构示意图
1700538652
1700538653
ResNet可以有效改善深层的神经网络学习问题，使得训练更深的网络成为可能，如图9.24所示。图9.24（a）展示的是传统神经网络的结果，可以看到随着模型结构的加深训练误差反而上升；而图9.24（b）是ResNet的实验结果，随着模型结构的加深，训练误差逐渐降低，并且优于相同层数的传统的神经网络。
1700538654
1700538655
1700538656
1700538657
1700538658
图9.24 ResNet网络与传统网络的效果对比
1700538659
1700538660
逸闻趣事
1700538661
1700538662
1700538663
1700538664
Geoffrey Hinton的传奇人生
1700538665
1700538666
深度学习泰斗 Geoffrey Hinton 的名字在当今的人工智能研究界可谓是如雷贯耳，他曾发明了玻尔兹曼机，也首先将反向传播应用于多层神经网络。不仅如此，他还有 Yann LeCun 和 Ilya Sutskever 等大牛级的学生。
1700538667
1700538668
Hinton 教授出生于英国的温布尔登。他的母亲是一位数学老师，父亲是一个专注甲壳虫研究的昆虫学家。“国民生产总值”这个术语，是他的舅舅、经济学家Colin Clark发明的。他的高曾祖父是 19 世纪的逻辑学家 George Boole —— 现代计算科学的基础布尔代数的发明人。后来，他们家搬到了布里斯托，Hinton进入了克里夫顿学院，这所学校在他口中是个“二流公立学校”。正是在这里，他结识的一个朋友给他讲了全息图，讲了人脑如何存储记忆，为他打开了AI的神奇大门。
1700538669
1700538670
高中毕业后，Hinton去剑桥大学学习物理学和化学，但只读了 1 个月就退学了。一年后，他又重新申请剑桥大学并转学建筑，结果又退学了，这次他只坚持了 1 天。然后转向物理学和生理学，但是后来发现物理学中的数学太难了，因此转学哲学，花 1 年修完了 2 年的课程。Hinton 说：“这一年大有裨益，因为我对哲学产生了强烈的抗体，我想要理解人类意识的工作原理。”为此，他转向了心理学，仅仅为了确定“心理学家对人类意识也不明所以”。在 1973 年前往爱丁堡大学研究生院学习人工智能之前，他做了 1 年的木匠。他在爱丁堡大学的导师是 Christopher Longuet-Higgins，其学生包括多伦多大学化学家、诺贝尔奖得主 John Polanyi 和理论物理学家 Peter Higgs。
1700538671
1700538672
即使当时 Hinton 已经确信不被看好的神经网络才是正确之路，但他的导师却在那时刚改为支持人工智能传统论点。Hinton 说：“我的研究生生涯充满了暴风骤雨，每周我和导师都会有一次争吵。我一直在做着交易，我会说，好吧，让我再做 6 个月时间的神经网络，我会证明其有效性的。当 6 个月结束了，我又说，我几乎要成功了，再给我 6 个月。自此之后我一直说，再给我 5 年时间，而其他人也一直说，你做这个都 5 年了，它永远不会有效的。但终于，神经网络奏效了。”他否认自己曾怀疑过神经网络未来某天会证明自己的优越性：“我从没怀疑过，因为大脑必然是以某种方式工作的，但绝对不是以某种规则编程的方式工作的。”
1700538673
1700538674
数年来，Hinton 的工作不仅相对来说令人费解，而且在一场长达 10 年的计算机科学学术之争中处于失利的一方。Hinton 说，他的神经网被获得了更多资助的人工智能传统论（需要人工编程）者认为是“没有头脑的废话（weak-minded nonsense）”，学术期刊过去常常拒收有关神经网络的论文。
1700538675
1700538676
但是在过去的 5 年左右的时间里，Hinton 的学生取得了一系列的惊人突破，神经网络变得十分流行，Hinton 也被尊称为计算新时代的宗师（guru of a new era of computing）。神经网络已经在手机中为绝大多数语音识别软件提供支持，其还能识别不同种类的狗的图片，精确度几乎可以和人类媲美。
1700538677
1700538678
“我认为对他太多赞美都不为过。”Irvine 这么评价 Hinton 教授，“因为他经历过人工智能的黑暗时代，那时候他看起来就像是一位疯狂科学家，人们从没想过这真的会成功……现在，这些已经被谈论了二三十年的事情终于发生了，我觉得这对他来说是一个很好的奖励……现在这已经掀起了全世界的狂潮，而他就是教父。这绝对不是一夜之间就能取得的成功。”
1700538679
1700538680
1700538681
1700538682
1700538683
百面机器学习：算法工程师带你去面试 [:1700532226]
1700538684
百面机器学习：算法工程师带你去面试 第10章 循环神经网络
1700538685
1700538686
作为生物体，我们的视觉和听觉不断地获得带有序列的声音和图像信号，并交由大脑理解；同时我们在说话、写作、驾驶等过程中不断地输出序列的声音、文字、操作等信号。在互联网公司日常要处理的数据中，也有很多是以序列形式存在的，例如文本、语音、视频、点击流等等。因此，如何更好地对序列数据进行建模，一向是人工智能领域的研究的要点。
1700538687
1700538688
循环神经网络（Recurrent Neural Network，RNN）是用来建模序列化数据的一种主流深度学习模型。我们知道，传统的前馈神经网络一般的输入都是一个定长的向量，无法处理变长的序列信息，即使通过一些方法把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。RNN则通过将神经元串行起来处理序列化的数据。由于每个神经元能用它的内部变量保存之前输入的序列信息，因此整个序列被浓缩成抽象的表示，并可以据此进行分类或生成新的序列。近年来，得益于计算能力的大幅提升和模型的改进，RNN在很多领域取得了突破性的进展——机器翻译、序列标注、图像描述、推荐系统、智能聊天机器人、自动作词作曲等。
1700538689
1700538690
1700538691
1700538692