打字猴:1.70054008e+09
1700540080
1700540081
1700540082
1700540083
1700540084 (13.5)
1700540085
1700540086
1700540087
1700540088
1700540089
1700540090
1700540091
1700540092 此时,,其中JSD(·)是JS距离。由此看出,优化生成器G实际是在最小化生成样本分布与真实样本分布的JS距离。最终,达到的均衡点是的最小值点,即pg=pdata时,取到零,最优解,,值函数。
1700540093
1700540094
1700540095 进一步地,训练时如果给定D求解最优G,可以得到什么?不妨假设G′表示前一步的生成器,D是G′下的最优判别器。那么,求解最优G的过程为
1700540096
1700540097
1700540098
1700540099
1700540100 (13.6)
1700540101
1700540102 由此,可以得出以下两点结论。
1700540103
1700540104
1700540105 (1)优化G的过程是让G远离前一步的G′,同时接近分布。
1700540106
1700540107
1700540108
1700540109 (2)达到均衡点时,有,如果用这时的判别器去训练一个全新的生成器Gnew,理论上可能啥也训练不出来。
1700540110
1700540111 问题3 GANs如何避开大量概率推断计算?
1700540112
1700540113 难度:★★☆☆☆
1700540114
1700540115 发明GANs的初衷是为了更好地解决概率生成模型的估计问题。传统概率生成模型方法(如:马尔可夫随机场、贝叶斯网络)会涉及大量难以完成的概率推断计算,GANs是如何避开这类计算的?
1700540116
1700540117 分析与解答
1700540118
1700540119
1700540120 传统概率生成模型要定义一个概率分布表达式P(X),通常是一个多变量联合概率分布的密度函数,并基于此做最大似然估计。这过程少不了概率推断计算,比如计算边缘概率P(Xi)、条件概率P(Xi|Xj)以及作分母的Partition Function等。当随机变量很多时,概率模型会变得十分复杂,概率计算变得非常困难,即使做近似计算,效果常不尽人意。GANs在刻画概率生成模型时,并不对概率密度函数p(X)直接建模,而是通过制造样本x,间接体现出分布p(X),就是说我们看不到p(X)的一个表达式。那么怎么做呢?
1700540121
1700540122
1700540123
1700540124 如果随机变量Z和X之间满足某种映射关系X=f(Z),那么它们的概率分布pX(X)和pZ(Z)也存在某种映射关系。当都是一维随机变量时,;当Z,X是高维随机变量时,导数变成雅克比矩阵,即pX=JpZ。因此,已知Z的分布,我们对随机变量间的转换函数f直接建模,就唯一确定了X的分布。
1700540125
1700540126 这样,不仅避开大量复杂的概率计算,而且给f更大的发挥空间,我们可以用神经网络来训练f。近些年神经网络领域大踏步向前发展,涌现出一批新技术来优化网络结构,除了经典的卷积神经网络和循环神经网络,还有ReLu激活函数、批量归一化、Dropout等,都可以自由地添加到生成器的网络中,大大增强生成器的表达能力。
1700540127
1700540128 问题4 GANs在实际训练中会遇到什么问题?
1700540129
[ 上一页 ]  [ :1.70054008e+09 ]  [ 下一页 ]