1700508622
数据科学家养成手册 [:1700503598]
1700508623
11.9.6 卷积神经网络
1700508624
1700508625
在神经网络这种算法设计方式中，有一种叫作“卷积神经网络”（Convolutional Neural Network，CNN）的子类别。
1700508626
1700508627
从工作流程来看，卷积神经网络与前面提到的BP神经网络类似，向量输入都是从前向后传递，都是通过训练集来获得损失函数的定义，并通过求偏导数来调整每个神经元的权值矩阵w和b从而获得损失函数更小的解，在流程上也没有太大区别。但是，卷积神经网络中多了一个组件——卷积层。卷积神经网络与传统的BP神经网络相比，在模式识别方面的处理能力上优势更大，训练收敛速度更快，准确率更高。
1700508628
1700508629
卷积层是由卷积核组成的一种以采样为目的的处理层。
1700508630
1700508631
以图像处理为例，一幅包含m×n个像素的图片在处理时实际上被当成了一个m×n×3维度的向量（“3”是指RGB通道，每个通道有256种取值）。如果要对这么大的一个向量设计全连接的BP神经网络，需要训练的w矩阵中的权值数量是非常惊人的。而卷积神经网络通过自己独特的处理技巧——权值共享，可以有效降低计算量。
1700508632
1700508633
我们以VGG-16(7)为例讲解，如图11-50所示。
1700508634
1700508635
1700508636
1700508637
1700508638
图11-50 VGG-16 ModeI
1700508639
1700508640
“VGG”是“Visual Geometry Group”的缩写。Visual Geometry Group是隶属于英国牛津大学工程科学系的一个组织。“16”是指其中有16个带有参数的网络层。
1700508641
1700508642
“Convolution”就是卷积层，使用卷积核进行卷积操作（如图11-51所示）。卷积核的设计可以说是不一而足的，由于其目的是采样，所以采样的逻辑可以根据场景的需要进行调整。在这个例子中，我们看到的是将一个连续3×3范围内的点值做加和。这相当于f(x)=wx+b，每个点组成的向量是x，w是采样时赋予的系数。在这之后，每个卷积核会通过一次ReLu函数完成激励，也就是说，每个3×3的9维向量都需要做一次这样的映射：
1700508643
1700508644
1700508645
1700508646
1700508647
如图11-51所示，右侧那幅由左侧图片经过卷积核从左到右、从上到下不断扫描而产生的特征图叫作“Feature Map”，用来保存左侧卷积核扫描的结果。Feature Map中的数据相当于通过某种卷积核采样后采集到的“特征值”，而这种特征值存在一个问题——很难有一个确切的物理解释。
1700508648
1700508649
1700508650
1700508651
1700508652
图11-51 卷积操作
1700508653
1700508654
在VGG-16这样的卷积神经网络中还有一种叫作“Max Pooling”的层（如图11-52所示），这种层不一定会出现在每个卷积神经网络模型中。它的作用是对临近的几个点进行取最大值的操作，实际上是在进行一种有损压缩。有些卷积神经网络中会设计其他的Pooling层，例如不是取最大值，而是取平均值（Average Pooling）等。学术界对这些有损压缩方式的优劣到现在为止也是莫衷一是，通常只能在具体的场景中去比较不同的选择产生的不同的召回率和准确率，然后得到一个特定场景中的结论。不少较新的卷积神经网络中根本没有Pooling层。
1700508655
1700508656
1700508657
1700508658
1700508659
图11-52 Max PooIing层
1700508660
1700508661
Full Connected层也叫“全连接层”。这一层上的处理方式和前面提到的BP神经网络中的连接方式是一样的，第2层的每一个节点都与上面一层的每一个节点相连接。这种连接方式的含义和BP神经网络中的含义一样，每个上一层的计算结果都会对下一层中每个节点的输出起作用。而且，在这一层上同样是用ReLu的方式
1700508662
1700508663
1700508664
1700508665
1700508666
对每个节点的输出值做激励。
1700508667
1700508668
Softmax层使用的是一种回归模型（如图11-53所示）。
1700508669
1700508670
1700508671