1700540186
百面机器学习：算法工程师带你去面试 [:1700532247]
1700540187
百面机器学习：算法工程师带你去面试 02 WGAN：抓住低维的幽灵
1700540188
1700540189
1700540190
1700540191
场景描述
1700540192
1700540193
看过《三体Ⅲ·死神永生》的朋友，一定听说过“降维打击”这个词，像拍苍蝇一样把敌人拍扁。其实，低维不见得一点好处都没有。想象猫和老鼠这部动画的一个镜头，老鼠Jerry被它的劲敌Tom猫一路追赶，突然Jerry发现墙上挂了很多照片，其中一张的背景是海边浴场，沙滩上有密密麻麻很多人，Jerry一下子跳了进去，混在人群中消失了，Tom怎么也找不到Jerry。三维的Jerry变成了一个二维的Jerry，躲过了Tom。一个新的问题是：Jerry对于原三维世界来说是否还存在？ 极限情况下，如果这张照片足够薄，没有厚度，那么它就在一个二维平面里，不占任何体积（见图13.5），体积为零的东西不就等于没有吗！拓展到高维空间，这个体积叫测度，无论N维空间的N有多大，在N+1维空间中测度就是零，就像二维平面在三维空间中一样。因此，一个低维空间的物体，在高维空间中忽略不计。对生活在高维世界的人来说，低维空间是那么无足轻重，像一层纱，似一个幽灵，若有若无，是一个隐去的世界。
1700540194
1700540195
1700540196
1700540197
1700540198
图13.5 二维画面与三维空间
1700540199
1700540200
2017年，一个训练生成对抗网络的新方法WGAN被提出[34]。在此之前，GANs已提出三年，吸引了很多研究者来使用它。原理上，大家都觉得GANs的思路实在太巧妙，理解起来也不复杂，符合人们的直觉，万物不都是在相互制约和对抗中逐渐演化升级吗。理论上，Goodfellow在2014年已经给出GANs的最优性证明，证明GANs本质上是在最小化生成分布与真实数据分布的JS距离，当算法收敛时生成器刻画的分布就是真实数据的分布。但是，实际使用中发现很多解释不清的问题，生成器的训练很不稳定[35]。生成器这只Tom猫，很难抓住真实数据分布这只老鼠Jerry。
1700540201
1700540202
知识点
1700540203
1700540204
坍缩模式（Collapse Mode），Wasserstein距离，1-Lipschitz函数
1700540205
1700540206
问题1 GANs的陷阱：原GANs中存在的哪些问题制约模型训练效果。
1700540207
1700540208
难度：★★★☆☆
1700540209
1700540210
分析与解答
1700540211
1700540212
GANs的判别器试图区分真实样本和生成的模拟样本。Goodfellow在论文中指出，训练判别器，是在度量生成器分布和真实数据分布的JS距离；训练生成器，是在减小这个JS距离。即使我们不清楚形成真实数据的背后机制，还是可以用一个模拟生成过程去替代之，只要它们的数据分布一致。
1700540213
1700540214
但是实验中发现，训练好生成器是一件很困难的事，生成器很不稳定，常出现坍缩模式。什么是坍缩模式？拿图片举例，反复生成一些相近或相同的图片，多样性太差。生成器似乎将图片记下，没有泛化，更没有造新图的能力，好比一个笨小孩被填鸭灌输了知识，只会死记硬背，没有真正理解，不会活学活用，更无创新能力。
1700540215
1700540216
为什么会这样？既然训练生成器基于JS距离，猜测问题根源可能与JS距离有关。高维空间中不是每点都能表达一个样本（如一张图片），空间大部分是多余的，真实数据蜷缩在低维子空间的流形（即高维曲面）上，因为维度低，所占空间体积几乎为零，就像一张极其薄的纸飘在三维空间，不仔细看很难发现。考虑生成器分布与真实数据分布的JS距离，即两个KL距离的平均：
1700540217
1700540218
1700540219
1700540220
1700540221
（13.12）
1700540222
1700540223
初始的生成器，由于参数随机初始化，与其说是一个样本生成器，不如说是高维空间点的生成器，点广泛分布在高维空间中。打个比方，生成器将一张大网布满整个空间，“兵力”有限，网布得越大，每个点附近的兵力就越少。想象一下，当这张网穿过低维子空间时，可看见的“兵”几乎为零，这片子空间成了一个“盲区”，如果真实数据全都分布在这，它们就对生成器“隐身”了，成了“漏网之鱼”（见图13.6）。
1700540224
1700540225
1700540226
1700540227
1700540228
图13.6 高维空间中的生成器样本网点与低维流形上的真实分布
1700540229
1700540230
回到公式，看第一个KL距离：
1700540231
1700540232
1700540233
1700540234
1700540235
（13.13）