1700508650
1700508651
1700508652
图11-51 卷积操作
1700508653
1700508654
在VGG-16这样的卷积神经网络中还有一种叫作“Max Pooling”的层（如图11-52所示），这种层不一定会出现在每个卷积神经网络模型中。它的作用是对临近的几个点进行取最大值的操作，实际上是在进行一种有损压缩。有些卷积神经网络中会设计其他的Pooling层，例如不是取最大值，而是取平均值（Average Pooling）等。学术界对这些有损压缩方式的优劣到现在为止也是莫衷一是，通常只能在具体的场景中去比较不同的选择产生的不同的召回率和准确率，然后得到一个特定场景中的结论。不少较新的卷积神经网络中根本没有Pooling层。
1700508655
1700508656
1700508657
1700508658
1700508659
图11-52 Max PooIing层
1700508660
1700508661
Full Connected层也叫“全连接层”。这一层上的处理方式和前面提到的BP神经网络中的连接方式是一样的，第2层的每一个节点都与上面一层的每一个节点相连接。这种连接方式的含义和BP神经网络中的含义一样，每个上一层的计算结果都会对下一层中每个节点的输出起作用。而且，在这一层上同样是用ReLu的方式
1700508662
1700508663
1700508664
1700508665
1700508666
对每个节点的输出值做激励。
1700508667
1700508668
Softmax层使用的是一种回归模型（如图11-53所示）。
1700508669
1700508670
1700508671
1700508672
1700508673
图11-53 Softmax层
1700508674
1700508675
1700508676
1700508677
1700508678
x是全连接层输出的完整向量。
1700508679
1700508680
最后输出的一层表示预测分类，其中的每一个节点都是某个预测分类（从1到j）概率的输出值。
1700508681
1700508682
1700508683
zi是一个向量，也就是最后一层全连接层的输出向量x与第i个分类节点的wi的内积与偏置bi的加和。表示向量x属于i分类的概率。
1700508684
1700508685
1700508686
通过计也可以得到，含义为一个向量在各个分类中的概率加和为1。
1700508687
1700508688
VGG-16只是众多使用卷积层的网络模型之一，还有很多优秀的网络模型中会用到卷积层及与其他神经元的混编模型。卷积层的目的是做某种特征的提取（我们只要理解这一点就可以了）——帮助人们自动进行特征提取，并通过训练找到更合理的提取方式。训练的过程则是通过样本和输出值描述的损失函数，最终找到每一个卷积层上的w和b，以及最后3个全连接层每个节点的w和b。
1700508689
1700508690
数据科学家养成手册 [:1700503599]
1700508691
11.9.7 循环神经网络
1700508692
1700508693
下面介绍一种循环神经网络（Recurrent Neural Networks，RNN）。RNN与其他网络的不同之处在于，其中的“循环”部分能使网络具有“记忆”功能（如图11-54和图11-55所示）。
1700508694
1700508695
1700508696
1700508697
图11-54 RNN网络结构（1） 图11-55 RNN网络结构（2） 在观察一个向量序列xi的过程中，xt会通过这个这个网络产生一个输出，而这个输出会在xt+1进入网络的同时作为一个输入项和当前的xt+1一起输入到网络中。从时间上看，如图11-56所示。
1700508698
1700508699
