1700538481
百面机器学习：算法工程师带你去面试 [:1700532224]
1700538482
百面机器学习：算法工程师带你去面试 05 深度卷积神经网络
1700538483
1700538484
1700538485
1700538486
场景描述
1700538487
1700538488
卷积神经网络（Convolutional Neural Networks，CNN）也是一种前馈神经网络，其特点是每层的神经元节点只响应前一层局部区域范围内的神经元（全连接网络中每个神经元节点响应前一层的全部节点）。一个深度卷积神经网络模型通常由若干卷积层叠加若干全连接层组成，中间也包含各种非线性操作以及池化操作。卷积神经网络同样可以使用反向传播算法进行训练，相较于其他网络模型，卷积操作的参数共享特性使得需要优化的参数数目大大缩减，提高了模型的训练效率以及可扩展性。由于卷积运算主要用于处理类网格结构的数据，因此对于时间序列以及图像数据的分析与识别具有显著优势。
1700538489
1700538490
图9.14是卷积神经网络的一个经典结构示意图。这是LeCun Yann在1998年提出的卷积神经网络结构，输入在经历几次卷积和池化层的重复操作之后，接入几个全连通层并输出预测结果，已成功应用于手写体识别任务。
1700538491
1700538492
1700538493
1700538494
1700538495
图9.14 LeNet卷积神经网络
1700538496
1700538497
知识点
1700538498
1700538499
图像处理，深度学习，自然语言处理
1700538500
1700538501
问题1 卷积操作的本质特性包括稀疏交互和参数共享，具体解释这两种特性及其作用。
1700538502
1700538503
难度：★★☆☆☆
1700538504
1700538505
分析与解答
1700538506
1700538507
■ 稀疏交互（Sparse Interaction）
1700538508
1700538509
在传统神经网络中，网络层之间输入与输出的连接关系可以由一个权值参数矩阵来表示，其中每个单独的参数值都表示了前后层某两个神经元节点之间的交互。对于全连接网络，任意一对输入与输出神经元之间都产生交互，形成稠密的连接结构，如图9.15所示，神经元si与输入的所有神经元xj均有连接。
1700538510
1700538511
1700538512
1700538513
1700538514
图9.15 全连接层结构示意图
1700538515
1700538516
而在卷积神经网络中，卷积核尺度远小于输入的维度，这样每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重（即产生交互），我们称这种特性为稀疏交互，如图9.16所示。可以看到与稠密的连接结构不同，神经元si仅与前一层中的xi−1、xi和xi+1相连。具体来讲，假设网络中相邻两层分别具有m个输入和n个输出，全连接网络中的权值参数矩阵将包含m×n个参数。对于稀疏交互的卷积网络，如果限定每个输出与前一层神经元的连接数为k，那么该层的参数总量为k×n。在实际应用中，一般k值远小于m就可以取得较为可观的效果；而此时优化过程的时间复杂度将会减小几个数量级，过拟合的情况也得到了较好的改善。
1700538517
1700538518
1700538519
1700538520
1700538521
图9.16 卷积层结构示意图
1700538522
1700538523
稀疏交互的物理意义是，通常图像、文本、语音等现实世界中的数据都具有局部的特征结构，我们可以先学习局部的特征，再将局部的特征组合起来形成更复杂和抽象的特征。以人脸识别为例，最底层的神经元可以检测出各个角度的边缘特征（见图9.17（a））；位于中间层的神经元可以将边缘组合起来得到眼睛、鼻子、嘴巴等复杂特征（见图9.17（b））；最后，位于上层的神经元可以根据各个器官的组合检测出人脸的特征（见图9.17（c））。
1700538524
1700538525
1700538526
1700538527
1700538528
图9.17 人脸识别中不同卷积层的可视化
1700538529
1700538530
■ 参数共享（Parameter Sharing）