打字猴:1.70054023e+09
1700540230 回到公式,看第一个KL距离:
1700540231
1700540232
1700540233
1700540234
1700540235 (13.13)
1700540236
1700540237
1700540238 高维空间绝大部分地方见不到真实数据,pr(x)处处为零,对KL距离的贡献为零;即使在真实数据蜷缩的低维空间,高维空间会忽略低维空间的体积,概率上讲测度为零。KL距离就成了:。
1700540239
1700540240 再看第二个KL距离:
1700540241
1700540242
1700540243
1700540244
1700540245 (13.14)
1700540246
1700540247
1700540248 同理KL距离也为:。因此,JS距离为log 2,一个常量。无论生成器怎么“布网”,怎么训练,JS距离不变,对生成器的梯度为零。训练神经网络是基于梯度下降的,用梯度一次次更新模型参数,如果梯度总是零,训练还怎么进行?
1700540249
1700540250 问题2 破解武器:WGAN针对前面问题做了哪些改进?什么是Wasserstein距离?
1700540251
1700540252 难度:★★★★☆
1700540253
1700540254 分析与解答
1700540255
1700540256 直觉告诉我们:不要让生成器在高维空间傻傻地布网,让它直接到低维空间“抓”真实数据。道理虽然是这样,但是在高维空间中藏着无数的低维子空间,如何找到目标子空间呢?站在大厦顶层,环眺四周,你可以迅速定位远处的山峦和高塔,却很难知晓一个个楼宇间办公室里的事情。你需要线索,而不是简单撒网。处在高维空间,对抗隐秘的低维空间,不能再用粗暴简陋的方法,需要有特殊武器,这就是Wasserstein距离(见图13.7),也称推土机距离(Earth Mover distance)
1700540257
1700540258
1700540259
1700540260
1700540261 (13.15)
1700540262
1700540263
1700540264
1700540265
1700540266 图13.7 Wasserstein距离
1700540267
1700540268
1700540269
1700540270 怎么理解这个公式?想象你有一个很大的院子,院子里有几处坑坑洼洼需要填平,四个墙角都有一堆沙子,沙子总量正好填平所有坑。搬运沙子很费力,你想知道有没有一种方案,使得花的力气最少。直觉上,每个坑都选择最近的沙堆,搬运的距离最短。但是存在一些问题,如果最近的沙堆用完了,或者填完坑后近处还剩好多沙子,或者坑到几个沙堆的距离一样,我们该怎么办?所以需要设计一个系统的方案,通盘考虑这些问题。最佳方案是上面目标函数的最优解。可以看到,当沙子分布和坑分布给定时,我们只关心搬运沙子的整体损耗,而不关心每粒沙子的具体摆放,在损耗不变的情况下,沙子摆放可能有很多选择。对应式(13.16),当你选择一对(x,y)时,表示把x处的一些沙子搬到y处的坑,可能搬部分沙子,也可能搬全部沙子,可能只把坑填一部分,也可能都填满了。x处沙子总量为,y处坑的大小为,从x到y的沙子量为γ(x,y),整体上满足等式
1700540271
1700540272
1700540273
1700540274
1700540275 (13.16)
1700540276
1700540277
1700540278
1700540279
[ 上一页 ]  [ :1.70054023e+09 ]  [ 下一页 ]