1700540472
除了生成网络和推断网络，还有一个判别网络。它的目标是区分来自生成网络的和来自推断网络的，如图13.16所示。在GANs框架下，判别网络与生成和推断网络共享一个目标函数
1700540473
1700540474
1700540475
1700540476
1700540477
1700540478
1700540479
1700540480
（13.19）
1700540481
1700540482
进行的也是一场MiniMax游戏：
1700540483
1700540484
1700540485
，
1700540486
1700540487
（13.20）
1700540488
1700540489
1700540490
其中分别为生成网络、推断网络和判别网络的参数，判别网络试图最大化V函数，生成和推断网络则试图最小化V函数。第一个等号右边的式子，反映了在重参数化技巧（Re-parameterization Trick）下将三个网络组装成一个大网络；第二个等号右边的式子，从判别器的角度看产生(x,z)的两个不同数据源。
1700540491
1700540492
1700540493
1700540494
1700540495
图13.16 ALI模型
1700540496
1700540497
1700540498
1700540499
实际中，为克服训练初期生成和推断网络从判别网络获取梯度不足的问题，我们采用一个梯度增强版的优化目标，将原目标函数中的改成。原GANs论文指出，这个小变换不改变前后优化目标的解，但是前者会出现梯度饱和问题，后者能产生更明显的梯度。修改前生成和推断网络的优化目标为：
1700540500
1700540501
1700540502
．
1700540503
1700540504
（13.21）
1700540505
1700540506
修改后的优化目标为：
1700540507
1700540508
1700540509
．
1700540510
1700540511
（13.22）
1700540512
1700540513
有了上面的分析，就好设计出一个同时训练生成和推断网络及判别网络的GANs算法。
1700540514
1700540515
1700540516
1700540517
1700540518
百面机器学习：算法工程师带你去面试 [:1700532250]
1700540519
百面机器学习：算法工程师带你去面试 05 IRGAN: 生成离散样本
1700540520
1700540521