1700540302
1700540303
细心的你会发现，这里的f与D不同，前者要满足|| f ||L≤1，即1-Lipschitz函数，后者是一个Sigmoid函数作输出层的神经网络。它们都要求在寻找最优函数时，一定要考虑界的限制。如果没有限制，函数值会无限大或无限小。Sigmoid函数的值有天然的界，而1-Lipschitz不是限制函数值的界，而是限制函数导数的界，使得函数在每点上的变化率不能无限大。神经网络里如何体现1-Lipschitz或K-Lipschitz呢？WGAN的思路很巧妙，在一个前向神经网络里，输入经过多次线性变换和非线性激活函数得到输出，输出对输入的梯度，绝大部分都是由线性操作所乘的权重矩阵贡献的，因此约束每个权重矩阵的大小，可以约束网络输出对输入的梯度大小。
1700540304
1700540305
1700540306
判别器在这里换了一个名字，叫评分器（Critic），目标函数由“区分样本来源”变成“为样本打分”：越像真实样本分数越高，否则越低，有点类似支持向量机里margin的概念（见图13.8）。打个龟兔赛跑的比方，评分器是兔子，生成器是乌龟。评分器的目标是甩掉乌龟，让二者的距离（或margin）越来越大；生成器的目标是追上兔子。严肃一点讲，训练评分器就是计算生成器分布与真实分布的Wasserstein距离；给定评分器，训练生成器就是在缩小这个距离，算法中要计算Wasserstein距离对生成器参数θ的梯度，，再通过梯度下降法更新参数，让Wasserstein距离变小。
1700540307
1700540308
1700540309
1700540310
1700540311
图13.8 WGAN的训练
1700540312
1700540313
1700540314
1700540315
1700540316
百面机器学习：算法工程师带你去面试 [:1700532248]
1700540317
百面机器学习：算法工程师带你去面试 03 DCGAN：当GANs遇上卷积
1700540318
1700540319
1700540320
1700540321
场景描述
1700540322
1700540323
虽然GANs一开始用于图像生成，但是没有马上应用卷积神经网络。通常提到图像，人们会想到卷积神经网络，为什么GANs最初时没有用它呢？原来不是随便一个卷积神经网络就能玩转GANs，研究者最初的尝试不怎么成功。
1700540324
1700540325
图像相关的几大学习任务包括：图像分类、图像分割、物体检测与识别等。
1700540326
1700540327
图像分类任务是大多数卷积神经网络的主战场，从手写数字识别到ImageNet大规模图像识别比赛，从AlexNet、VGG、GoogLeNet到ResNet，遍布着各类卷积神经网络结构。输入一张图片，输出一个类别，一端是密密麻麻的像素点阵，一端是表示类别的一个词，从输入端到输出端丢失大量信息，比如识别狗的图片，模型关心的是狗，不是狗的大小、颜色和品种，如图13.9所示。信息的丢失使得卷积神经网络仅用来识别图片类别，难以输出一张高分辨率的图片。
1700540328
1700540329
1700540330
1700540331
1700540332
图13.9 图像分类
1700540333
1700540334
图像分割任务中，输入一张图片，输出与原图同尺寸的分割图，图片被切成不同区域，同区域的点用同一颜色表示。输入端还是一张图，输出端信息量相比分类任务是有所增加了。注意，传统卷积神经网络中每层的高宽越来越小，丢失大量与像素位置相关的信息，为了进行图像分割任务，研究者们提出了一些新的卷积神经网络结构，比如分数步进卷积层（Fractional-Strided Convolutions），也称反卷积层（Deconvolutions），它让每层的高宽不减反增，从而使得分割任务中最终的输出和原始输入图片尺寸相同，如图13.10所示。
1700540335
1700540336
1700540337
1700540338
1700540339
图13.10 图像分割
1700540340
1700540341
但是，图像生成不是图像分割（见图13.11）。图像分割的输出端虽然与原图同尺寸，但是像素级别的细节信息依然大量丢掉，难以生成高分辨率的图片。图像生成这点事，绝不是信手拈来一个卷积神经网络就能搞定。我们该怎么改进卷积神经网络呢？
1700540342
1700540343
1700540344
1700540345
1700540346
图13.11 图像生成
1700540347
1700540348
知识点
1700540349
1700540350
卷积神经网络，分数步进卷积层（反卷积层），批量归一化，ReLU/LReLU
1700540351