1700540460
1700540461
分析与解答
1700540462
1700540463
1700540464
1700540465
1700540466
任何一个观察数据x,背后都有一个隐空间表示z,从x到z有一条转换路径,从z到x也有一条转换路径,前者对应一个编码过程,后者对应一个解码过程。从概率的角度看,编码是一个推断过程,先从真实数据集采样一个样本x,再由x推断z,有给定x下z的条件概率q(z|x);解码是一个生成过程,先从一个固定分布(如:高斯分布N(0,I))出发,采样一个随机信号,经过简单变换成为z,再由z经过一系列复杂非线性变换生成x,有给定z下x的条件概率p(x|z)。一般地,隐空间表示z比观察数据x更抽象更精炼,刻画z的维数应远小于x,从随机信号到z只做简单变换,有时直接拿作z,表明隐空间的信息被压缩得很干净,任何冗余都被榨干,任何相关维度都被整合到一起,使得隐空间各维度相互独立,因此隐空间的随机点是有含义的。
1700540467
1700540468
将观察数据和其隐空间表示一起考虑,(x,z),写出联合概率分布。从推断的角度看,联合概率q(x,z)=q(x)q(z|x),其中q(x)为真实数据集上的经验数据分布,可认为已知,条件概率q(z|x)则要通过推断网络来表达;从生成的角度看,p(x,z)=p(z)p(x|z),其中p(z)是事先给定的,如z~N(0,I),条件概率p(x|z)则通过生成网络来表达。然后,我们让这两个联合概率分布q(x,z)和p(x,z)相互拟合。当二者趋于一致时,可以确定对应的边缘概率都相等,q(x)=p(x),q(z)=p(z),对应的条件概率也都相等q(z|x)=p(z|x), q(x|z)=p(x|z)。最重要的是,得到的生成网络和推断网络是一对互逆的网络。值得注意的是,这种互逆特性不同于自动编码器这种通过最小化重建误差学出的网络,后者是完全一等一的重建,而前者是具有相同隐空间分布(如:风格、主题)的再创造。
1700540469
1700540470
1700540471
1700540472
除了生成网络和推断网络,还有一个判别网络。它的目标是区分来自生成网络的和来自推断网络的,如图13.16所示。在GANs框架下,判别网络与生成和推断网络共享一个目标函数
1700540473
1700540474
1700540475
1700540476
1700540477
1700540478
1700540479
1700540480
(13.19)
1700540481
1700540482
进行的也是一场MiniMax游戏:
1700540483
1700540484
1700540485
,
1700540486
1700540487
(13.20)
1700540488
1700540489
1700540490
其中分别为生成网络、推断网络和判别网络的参数,判别网络试图最大化V函数,生成和推断网络则试图最小化V函数。第一个等号右边的式子,反映了在重参数化技巧(Re-parameterization Trick)下将三个网络组装成一个大网络;第二个等号右边的式子,从判别器的角度看产生(x,z)的两个不同数据源。
1700540491
1700540492
1700540493
1700540494
1700540495
图13.16 ALI模型
1700540496
1700540497
1700540498
1700540499
实际中,为克服训练初期生成和推断网络从判别网络获取梯度不足的问题,我们采用一个梯度增强版的优化目标,将原目标函数中的改成。原GANs论文指出,这个小变换不改变前后优化目标的解,但是前者会出现梯度饱和问题,后者能产生更明显的梯度。修改前生成和推断网络的优化目标为:
1700540500
1700540501
1700540502
.
1700540503
1700540504
(13.21)
1700540505
1700540506
修改后的优化目标为:
1700540507
1700540508
1700540509
.
[
上一页 ]
[ :1.70054046e+09 ]
[
下一页 ]