1700540160
1700540161
（13.9）
1700540162
1700540163
故G获得的梯度基本为零，这说明D强大后对G的帮助反而微乎其微。
1700540164
1700540165
1700540166
1700540167
怎么办呢？解决方案是将变为，形式上有一个负号的差别，故让后者最大等效于让前者最小，二者在最优时解相同。我们看看更改后的目标函数有什么样的梯度：
1700540168
1700540169
1700540170
1700540171
1700540172
（13.10）
1700540173
1700540174
1700540175
1700540176
1700540177
（13.11）
1700540178
1700540179
1700540180
1700540181
即使趋于零，也不会消失，仍能给生成器提供有效的梯度。
1700540182
1700540183
1700540184
1700540185
1700540186
百面机器学习：算法工程师带你去面试 [:1700532247]
1700540187
百面机器学习：算法工程师带你去面试 02 WGAN：抓住低维的幽灵
1700540188
1700540189
1700540190
1700540191
场景描述
1700540192
1700540193
看过《三体Ⅲ·死神永生》的朋友，一定听说过“降维打击”这个词，像拍苍蝇一样把敌人拍扁。其实，低维不见得一点好处都没有。想象猫和老鼠这部动画的一个镜头，老鼠Jerry被它的劲敌Tom猫一路追赶，突然Jerry发现墙上挂了很多照片，其中一张的背景是海边浴场，沙滩上有密密麻麻很多人，Jerry一下子跳了进去，混在人群中消失了，Tom怎么也找不到Jerry。三维的Jerry变成了一个二维的Jerry，躲过了Tom。一个新的问题是：Jerry对于原三维世界来说是否还存在？ 极限情况下，如果这张照片足够薄，没有厚度，那么它就在一个二维平面里，不占任何体积（见图13.5），体积为零的东西不就等于没有吗！拓展到高维空间，这个体积叫测度，无论N维空间的N有多大，在N+1维空间中测度就是零，就像二维平面在三维空间中一样。因此，一个低维空间的物体，在高维空间中忽略不计。对生活在高维世界的人来说，低维空间是那么无足轻重，像一层纱，似一个幽灵，若有若无，是一个隐去的世界。
1700540194
1700540195
1700540196
1700540197
1700540198
图13.5 二维画面与三维空间
1700540199
1700540200
2017年，一个训练生成对抗网络的新方法WGAN被提出[34]。在此之前，GANs已提出三年，吸引了很多研究者来使用它。原理上，大家都觉得GANs的思路实在太巧妙，理解起来也不复杂，符合人们的直觉，万物不都是在相互制约和对抗中逐渐演化升级吗。理论上，Goodfellow在2014年已经给出GANs的最优性证明，证明GANs本质上是在最小化生成分布与真实数据分布的JS距离，当算法收敛时生成器刻画的分布就是真实数据的分布。但是，实际使用中发现很多解释不清的问题，生成器的训练很不稳定[35]。生成器这只Tom猫，很难抓住真实数据分布这只老鼠Jerry。
1700540201
1700540202
知识点
1700540203
1700540204
坍缩模式（Collapse Mode），Wasserstein距离，1-Lipschitz函数
1700540205
1700540206
问题1 GANs的陷阱：原GANs中存在的哪些问题制约模型训练效果。
1700540207
1700540208
难度：★★★☆☆
1700540209