打字猴:1.70054046e+09

1700540460

1700540461 分析与解答

1700540462

1700540463

1700540464

1700540465

1700540466 任何一个观察数据x，背后都有一个隐空间表示z，从x到z有一条转换路径，从z到x也有一条转换路径，前者对应一个编码过程，后者对应一个解码过程。从概率的角度看，编码是一个推断过程，先从真实数据集采样一个样本x，再由x推断z，有给定x下z的条件概率q(z|x)；解码是一个生成过程，先从一个固定分布（如：高斯分布N(0,I)）出发，采样一个随机信号，经过简单变换成为z，再由z经过一系列复杂非线性变换生成x，有给定z下x的条件概率p(x|z)。一般地，隐空间表示z比观察数据x更抽象更精炼，刻画z的维数应远小于x，从随机信号到z只做简单变换，有时直接拿作z，表明隐空间的信息被压缩得很干净，任何冗余都被榨干，任何相关维度都被整合到一起，使得隐空间各维度相互独立，因此隐空间的随机点是有含义的。

1700540467

1700540468 将观察数据和其隐空间表示一起考虑，(x,z)，写出联合概率分布。从推断的角度看，联合概率q(x,z)=q(x)q(z|x)，其中q(x)为真实数据集上的经验数据分布，可认为已知，条件概率q(z|x)则要通过推断网络来表达；从生成的角度看，p(x,z)=p(z)p(x|z)，其中p(z)是事先给定的，如z～N(0,I)，条件概率p(x|z)则通过生成网络来表达。然后，我们让这两个联合概率分布q(x,z)和p(x,z)相互拟合。当二者趋于一致时，可以确定对应的边缘概率都相等，q(x)=p(x)，q(z)=p(z)，对应的条件概率也都相等q(z|x)=p(z|x), q(x|z)=p(x|z)。最重要的是，得到的生成网络和推断网络是一对互逆的网络。值得注意的是，这种互逆特性不同于自动编码器这种通过最小化重建误差学出的网络，后者是完全一等一的重建，而前者是具有相同隐空间分布（如：风格、主题）的再创造。

1700540469

1700540470

1700540471

1700540472 除了生成网络和推断网络，还有一个判别网络。它的目标是区分来自生成网络的和来自推断网络的，如图13.16所示。在GANs框架下，判别网络与生成和推断网络共享一个目标函数

1700540473

1700540474

1700540475

1700540476

1700540477

1700540478

1700540479

1700540480 （13.19）

1700540481

1700540482 进行的也是一场MiniMax游戏：

1700540483

1700540484

1700540485 ，

1700540486

1700540487 （13.20）

1700540488

1700540489

1700540490 其中分别为生成网络、推断网络和判别网络的参数，判别网络试图最大化V函数，生成和推断网络则试图最小化V函数。第一个等号右边的式子，反映了在重参数化技巧（Re-parameterization Trick）下将三个网络组装成一个大网络；第二个等号右边的式子，从判别器的角度看产生(x,z)的两个不同数据源。

1700540491

1700540492