1700508640
“VGG”是“Visual Geometry Group”的缩写。Visual Geometry Group是隶属于英国牛津大学工程科学系的一个组织。“16”是指其中有16个带有参数的网络层。
1700508641
1700508642
“Convolution”就是卷积层，使用卷积核进行卷积操作（如图11-51所示）。卷积核的设计可以说是不一而足的，由于其目的是采样，所以采样的逻辑可以根据场景的需要进行调整。在这个例子中，我们看到的是将一个连续3×3范围内的点值做加和。这相当于f(x)=wx+b，每个点组成的向量是x，w是采样时赋予的系数。在这之后，每个卷积核会通过一次ReLu函数完成激励，也就是说，每个3×3的9维向量都需要做一次这样的映射：
1700508643
1700508644
1700508645
1700508646
1700508647
如图11-51所示，右侧那幅由左侧图片经过卷积核从左到右、从上到下不断扫描而产生的特征图叫作“Feature Map”，用来保存左侧卷积核扫描的结果。Feature Map中的数据相当于通过某种卷积核采样后采集到的“特征值”，而这种特征值存在一个问题——很难有一个确切的物理解释。
1700508648
1700508649
1700508650
1700508651
1700508652
图11-51 卷积操作
1700508653
1700508654
在VGG-16这样的卷积神经网络中还有一种叫作“Max Pooling”的层（如图11-52所示），这种层不一定会出现在每个卷积神经网络模型中。它的作用是对临近的几个点进行取最大值的操作，实际上是在进行一种有损压缩。有些卷积神经网络中会设计其他的Pooling层，例如不是取最大值，而是取平均值（Average Pooling）等。学术界对这些有损压缩方式的优劣到现在为止也是莫衷一是，通常只能在具体的场景中去比较不同的选择产生的不同的召回率和准确率，然后得到一个特定场景中的结论。不少较新的卷积神经网络中根本没有Pooling层。
1700508655
1700508656
1700508657
1700508658
1700508659
图11-52 Max PooIing层
1700508660
1700508661
Full Connected层也叫“全连接层”。这一层上的处理方式和前面提到的BP神经网络中的连接方式是一样的，第2层的每一个节点都与上面一层的每一个节点相连接。这种连接方式的含义和BP神经网络中的含义一样，每个上一层的计算结果都会对下一层中每个节点的输出起作用。而且，在这一层上同样是用ReLu的方式
1700508662
1700508663
1700508664
1700508665
1700508666
对每个节点的输出值做激励。
1700508667
1700508668
Softmax层使用的是一种回归模型（如图11-53所示）。
1700508669
1700508670
1700508671
1700508672
1700508673
图11-53 Softmax层
1700508674
1700508675
1700508676
1700508677
1700508678
x是全连接层输出的完整向量。
1700508679
1700508680
最后输出的一层表示预测分类，其中的每一个节点都是某个预测分类（从1到j）概率的输出值。
1700508681
1700508682
1700508683
zi是一个向量，也就是最后一层全连接层的输出向量x与第i个分类节点的wi的内积与偏置bi的加和。表示向量x属于i分类的概率。
1700508684
1700508685
1700508686
通过计也可以得到，含义为一个向量在各个分类中的概率加和为1。
1700508687
1700508688
VGG-16只是众多使用卷积层的网络模型之一，还有很多优秀的网络模型中会用到卷积层及与其他神经元的混编模型。卷积层的目的是做某种特征的提取（我们只要理解这一点就可以了）——帮助人们自动进行特征提取，并通过训练找到更合理的提取方式。训练的过程则是通过样本和输出值描述的损失函数，最终找到每一个卷积层上的w和b，以及最后3个全连接层每个节点的w和b。
1700508689