打字猴:1.70054006e+09
1700540060
1700540061 在此基础上得到值函数
1700540062
1700540063
1700540064
1700540065
1700540066 (13.4)
1700540067
1700540068
1700540069 判别器D最大化上述值函数,生成器G则最小化它,整个MiniMax游戏(见图13.4)可表示为:。
1700540070
1700540071
1700540072
1700540073
1700540074 图13.4 MiniMax对抗式游戏
1700540075
1700540076
1700540077
1700540078
1700540079 训练中,给定生成器G,寻找当下最优判别器DG*。对于单个样本x,最大化的解为,外面套上对x的积分就得到,解由单点变成一个函数解
1700540080
1700540081
1700540082
1700540083
1700540084 (13.5)
1700540085
1700540086
1700540087
1700540088
1700540089
1700540090
1700540091
1700540092 此时,,其中JSD(·)是JS距离。由此看出,优化生成器G实际是在最小化生成样本分布与真实样本分布的JS距离。最终,达到的均衡点是的最小值点,即pg=pdata时,取到零,最优解,,值函数。
1700540093
1700540094
1700540095 进一步地,训练时如果给定D求解最优G,可以得到什么?不妨假设G′表示前一步的生成器,D是G′下的最优判别器。那么,求解最优G的过程为
1700540096
1700540097
1700540098
1700540099
1700540100 (13.6)
1700540101
1700540102 由此,可以得出以下两点结论。
1700540103
1700540104
1700540105 (1)优化G的过程是让G远离前一步的G′,同时接近分布。
1700540106
1700540107
1700540108
1700540109 (2)达到均衡点时,有,如果用这时的判别器去训练一个全新的生成器Gnew,理论上可能啥也训练不出来。
[ 上一页 ]  [ :1.70054006e+09 ]  [ 下一页 ]