1700540010
1700540011
图13.1 GANs模型的框架图
1700540012
1700540013
GANs采用对抗策略进行模型训练，一方面，生成器通过调节自身参数，使得其生成的样本尽量难以被判别器识别出是真实样本还是模拟样本；另一方面，判别器通过调节自身参数，使得其能尽可能准确地判别出输入样本的来源。具体训练时，采用生成器和判别器交替优化的方式。
1700540014
1700540015
（1）在训练判别器时，先固定生成器G(·)；然后利用生成器随机模拟产生样本G(z)作为负样本（z是一个随机向量），并从真实数据集中采样获得正样本X；将这些正负样本输入到判别器D(·)中，根据判别器的输出（即D(X)或D(G(z))）和样本标签来计算误差；最后利用误差反向传播算法来更新判别器D(·)的参数，如图13.2所示。
1700540016
1700540017
1700540018
1700540019
1700540020
图13.2 GANs中判别器的训练
1700540021
1700540022
（2）在训练生成器时，先固定判别器D(·)；然后利用当前生成器G(·)随机模拟产生样本G(z)，并输入到判别器D(·)中；根据判别器的输出D(G(z))和样本标签来计算误差，最后利用误差反向传播算法来更新生成器G(·)的参数，如图13.3所示。
1700540023
1700540024
1700540025
1700540026
1700540027
图13.3 GANs中生成器的训练
1700540028
1700540029
问题2 GANs的值函数。
1700540030
1700540031
难度：★★★☆☆
1700540032
1700540033
GANs是一个双人MiniMax游戏，请给出游戏的值函数。理想情况下游戏最终会达到一个纳什均衡点，此时记生成器为G*，判别器为D*，请给出此时的解（G*,D*），以及对应的值函数的取值。在未达到均衡点时，将生成器G固定，寻找当下最优的判别器DG*，请给出DG*和此时的值函数。上述问题的答案在Goodfellow的论文中都有回答，进一步地，倘若固定D而将G优化到底，那么解GD*和此时的值函数又揭示出什么呢？
1700540034
1700540035
分析与解答
1700540036
1700540037
因为判别器D试图识别实际数据为真实样本，识别生成器生成的数据为模拟样本，所以这是一个二分类问题，损失函数写成Negative Log-Likelihood，也称Categorical Cross-Entropy Loss，即：
1700540038
1700540039
1700540040
，
1700540041
1700540042
（13.1）
1700540043
1700540044
1700540045
1700540046
1700540047
其中D(x)表示判别器预测x为真实样本的概率，p(data|x)和p(g|x)表示x分属真实数据集和生成器这两类的概率。样本x的来源一半是实际数据集，一半是生成器，。我们用表示从实际数据集得到x的概率，表示从生成器得到x的概率，有x的总概率
1700540048
1700540049
1700540050
．
1700540051
1700540052
（13.2）
1700540053
1700540054
替换式（13.1）中的p(x)p(data|x)为psrc(data)pdata(x)，以及p(x)p(g|x)为psrc(g)pg(x)，即可得到最终的目标函数
1700540055
1700540056
1700540057
．
1700540058
1700540059
（13.3）