1700540280
（13.17）
1700540281
1700540282
为什么Wasserstein距离能克服JS距离解决不了的问题？理论上的解释很复杂，需要证明当生成器分布随参数θ变化而连续变化时，生成器分布与真实分布的Wasserstein距离也随θ变化而连续变化，并且几乎处处可导，而JS距离不保证随θ变化而连续变化。
1700540283
1700540284
通俗的解释，接着“布网”的比喻，现在生成器不再“布网”，改成“定位追踪”了，不管真实分布藏在哪个低维子空间里，生成器都能感知它在哪，因为生成器只要将自身分布稍做变化，就会改变它到真实分布的推土机距离；而JS距离是不敏感的，无论生成器怎么变化，JS距离都是一个常数。因此，使用推土机距离，能有效锁定低维子空间中的真实数据分布。
1700540285
1700540286
问题3 WGAN之道：怎样具体应用Wasserstein距离实现WGAN算法？
1700540287
1700540288
难度：★★★★★
1700540289
1700540290
分析与解答
1700540291
1700540292
一群老鼠开会，得出结论：如果在猫脖上系一铃铛，每次它靠近时都能被及时发现，那多好！唯一的问题是：谁来系这个铃铛？现在，我们知道了推土机距离这款武器，那么怎么计算这个距离？推土机距离的公式太难求解。幸运的是，它有一个孪生兄弟，和它有相同的值，这就是Wasserstein距离的对偶式
1700540293
1700540294
1700540295
1700540296
1700540297
（13.18）
1700540298
1700540299
1700540300
1700540301
对偶式大大降低了Wasserstein距离的求解难度，计算过程变为找到一个函数f，使得它最大化目标函数，这个式子看上去很眼熟，对比原GANs的， 它只是去掉了log，所以只做微小改动就能使用原GANs的框架。
1700540302
1700540303
细心的你会发现，这里的f与D不同，前者要满足|| f ||L≤1，即1-Lipschitz函数，后者是一个Sigmoid函数作输出层的神经网络。它们都要求在寻找最优函数时，一定要考虑界的限制。如果没有限制，函数值会无限大或无限小。Sigmoid函数的值有天然的界，而1-Lipschitz不是限制函数值的界，而是限制函数导数的界，使得函数在每点上的变化率不能无限大。神经网络里如何体现1-Lipschitz或K-Lipschitz呢？WGAN的思路很巧妙，在一个前向神经网络里，输入经过多次线性变换和非线性激活函数得到输出，输出对输入的梯度，绝大部分都是由线性操作所乘的权重矩阵贡献的，因此约束每个权重矩阵的大小，可以约束网络输出对输入的梯度大小。
1700540304
1700540305
1700540306
判别器在这里换了一个名字，叫评分器（Critic），目标函数由“区分样本来源”变成“为样本打分”：越像真实样本分数越高，否则越低，有点类似支持向量机里margin的概念（见图13.8）。打个龟兔赛跑的比方，评分器是兔子，生成器是乌龟。评分器的目标是甩掉乌龟，让二者的距离（或margin）越来越大；生成器的目标是追上兔子。严肃一点讲，训练评分器就是计算生成器分布与真实分布的Wasserstein距离；给定评分器，训练生成器就是在缩小这个距离，算法中要计算Wasserstein距离对生成器参数θ的梯度，，再通过梯度下降法更新参数，让Wasserstein距离变小。
1700540307
1700540308
1700540309
1700540310
1700540311
图13.8 WGAN的训练
1700540312
1700540313
1700540314
1700540315
1700540316
百面机器学习：算法工程师带你去面试 [:1700532248]
1700540317
百面机器学习：算法工程师带你去面试 03 DCGAN：当GANs遇上卷积
1700540318
1700540319
1700540320
1700540321
场景描述
1700540322
1700540323
虽然GANs一开始用于图像生成，但是没有马上应用卷积神经网络。通常提到图像，人们会想到卷积神经网络，为什么GANs最初时没有用它呢？原来不是随便一个卷积神经网络就能玩转GANs，研究者最初的尝试不怎么成功。
1700540324
1700540325
图像相关的几大学习任务包括：图像分类、图像分割、物体检测与识别等。
1700540326
1700540327
图像分类任务是大多数卷积神经网络的主战场，从手写数字识别到ImageNet大规模图像识别比赛，从AlexNet、VGG、GoogLeNet到ResNet，遍布着各类卷积神经网络结构。输入一张图片，输出一个类别，一端是密密麻麻的像素点阵，一端是表示类别的一个词，从输入端到输出端丢失大量信息，比如识别狗的图片，模型关心的是狗，不是狗的大小、颜色和品种，如图13.9所示。信息的丢失使得卷积神经网络仅用来识别图片类别，难以输出一张高分辨率的图片。
1700540328
1700540329
