1700540080
1700540081
1700540082
．
1700540083
1700540084
（13.5）
1700540085
1700540086
1700540087
1700540088
1700540089
1700540090
1700540091
1700540092
此时，，其中JSD(·)是JS距离。由此看出，优化生成器G实际是在最小化生成样本分布与真实样本分布的JS距离。最终，达到的均衡点是的最小值点，即pg=pdata时，取到零，最优解，，值函数。
1700540093
1700540094
1700540095
进一步地，训练时如果给定D求解最优G，可以得到什么？不妨假设G′表示前一步的生成器，D是G′下的最优判别器。那么，求解最优G的过程为
1700540096
1700540097
1700540098
．
1700540099
1700540100
（13.6）
1700540101
1700540102
由此，可以得出以下两点结论。
1700540103
1700540104
1700540105
（1）优化G的过程是让G远离前一步的G′，同时接近分布。
1700540106
1700540107
1700540108
1700540109
（2）达到均衡点时，有，如果用这时的判别器去训练一个全新的生成器Gnew，理论上可能啥也训练不出来。
1700540110
1700540111
问题3 GANs如何避开大量概率推断计算？
1700540112
1700540113
难度：★★☆☆☆
1700540114
1700540115
发明GANs的初衷是为了更好地解决概率生成模型的估计问题。传统概率生成模型方法（如：马尔可夫随机场、贝叶斯网络）会涉及大量难以完成的概率推断计算，GANs是如何避开这类计算的？
1700540116
1700540117
分析与解答
1700540118
1700540119
1700540120
传统概率生成模型要定义一个概率分布表达式P(X)，通常是一个多变量联合概率分布的密度函数，并基于此做最大似然估计。这过程少不了概率推断计算，比如计算边缘概率P(Xi)、条件概率P(Xi|Xj)以及作分母的Partition Function等。当随机变量很多时，概率模型会变得十分复杂，概率计算变得非常困难，即使做近似计算，效果常不尽人意。GANs在刻画概率生成模型时，并不对概率密度函数p(X)直接建模，而是通过制造样本x，间接体现出分布p(X)，就是说我们看不到p(X)的一个表达式。那么怎么做呢？
1700540121
1700540122
1700540123
1700540124
如果随机变量Z和X之间满足某种映射关系X=f(Z)，那么它们的概率分布pX(X)和pZ(Z)也存在某种映射关系。当都是一维随机变量时，；当Z,X是高维随机变量时，导数变成雅克比矩阵，即pX=JpZ。因此，已知Z的分布，我们对随机变量间的转换函数f直接建模，就唯一确定了X的分布。
1700540125
1700540126
这样，不仅避开大量复杂的概率计算，而且给f更大的发挥空间，我们可以用神经网络来训练f。近些年神经网络领域大踏步向前发展，涌现出一批新技术来优化网络结构，除了经典的卷积神经网络和循环神经网络，还有ReLu激活函数、批量归一化、Dropout等，都可以自由地添加到生成器的网络中，大大增强生成器的表达能力。
1700540127
1700540128
问题4 GANs在实际训练中会遇到什么问题？
1700540129