1700540422
百面机器学习：算法工程师带你去面试 [:1700532249]
1700540423
百面机器学习：算法工程师带你去面试 04 ALI：包揽推断业务
1700540424
1700540425
1700540426
1700540427
场景描述
1700540428
1700540429
宋朝有位皇帝非常喜爱书画，创建了世界上最早的皇家画院。一次考试，他出的题目是“深山藏古寺”，让众多前来报考的画家画。有的在山腰间画了一座古寺，有的将古寺画在丛林深处，有的古寺画得完整，有的只画了寺的一角。皇帝看了都不满意，就在他叹息之时，一幅画作进入他的视线，他端详一番称赞道：“妙哉！妙哉！”原来这幅画上根本没有寺，只见崇山峻岭间，一股清泉飞流直下，一位老和尚俯身在泉边，背后是挑水的木桶，木桶后弯弯曲曲远去的小路，消失在丛林深处（见图13.15）。寺虽不见于画，却定“藏”于山，比起寺的一角或一段墙垣，更切合考题。
1700540430
1700540431
1700540432
1700540433
1700540434
深山现古寺
1700540435
1700540436
1700540437
1700540438
1700540439
深山藏古寺
1700540440
1700540441
图13.15 深山藏古寺
1700540442
1700540443
人们看画，看的不仅是画家的画技，还有所表达的主题。同一主题，表现的手法很多，不同人会画出不同画。反过来，观者在看到这些不同画时，都能联想到同一主题或相似主题。给一个主题，创作一幅画，这就是生成的过程；给一幅画，推测画的主题，这就是推断的过程。生成与推断是互逆的。这样的例子还有很多，一方面，当要测试一个人的创造力时，给他一个话题让他写文章，给他一个思路让他想实施细节，这类测试问题都是开放性的，没有标准答案，却不妨碍我们考查对方的能力；另一方面，当听到一个人的发言或看到他的作品时，我们会揣摩对方的真实用意，他的话是什么意思，他的作品想表达什么。
1700540444
1700540445
我们面对两类信息，一类可以观察到，一类虽观察不到但似乎就在那里，或直白，或隐约，我们通过推断感受到它的存在。这两类信息在两种表达空间里，一种是观察数据所在的数据空间，一种是隐变量所在的隐空间，后者是前者的一种抽象。生成和推断就是这两种空间上信息的转换，用两个深度神经网络来构建，一个是生成网络，一个是推断网络。生成网络建立从隐空间到数据空间的映射，推断网络建立从数据空间到隐空间的映射。数据空间的信息看得见，称为明码；隐空间的信息看不见，称为暗码，因此生成网络是一个解码器（Decoder），推断网络是一个编码器（Encoder）。
1700540446
1700540447
把生成和推断相结合，想象一个场景，我们想学习印象派画家的画风，仔细观察多幅名作，体会它们的表现手法及反映的主题，然后我们凭着自己的理解，亲自动手，创作一幅印象派画。整个过程分为推断和生成。那么，如何提高我们的绘画水平？我们需要一位大师或懂画的评论家，告诉我们哪里理解的不对，哪里画的不对。我们则要在评论家的批评中增进技艺，以至于让他挑不出毛病。这也是GANs的基本思路。
1700540448
1700540449
2017年的一篇论文提出ALI（Adversarially Learned Inference）模型[40]，将生成网络和推断网络一起放到GANs的框架下，进而联合训练生成模型和推断模型，取得不错的效果。
1700540450
1700540451
知识点
1700540452
1700540453
概率推断，隐空间，Encoder/Decoder
1700540454
1700540455
问题 生成网络和推断网络的融合。
1700540456
1700540457
难度：★★★☆☆
1700540458
1700540459
请问如何把一个生成网络和一个推断网络融合在GANs框架下，借助来自判别器的指导，不仅让模拟样本的分布尽量逼近真实分布，而且让模拟样本的隐空间表示与真实样本的隐空间表示在分布上也尽量接近。
1700540460
1700540461
分析与解答
1700540462
1700540463
1700540464
1700540465
1700540466
任何一个观察数据x，背后都有一个隐空间表示z，从x到z有一条转换路径，从z到x也有一条转换路径，前者对应一个编码过程，后者对应一个解码过程。从概率的角度看，编码是一个推断过程，先从真实数据集采样一个样本x，再由x推断z，有给定x下z的条件概率q(z|x)；解码是一个生成过程，先从一个固定分布（如：高斯分布N(0,I)）出发，采样一个随机信号，经过简单变换成为z，再由z经过一系列复杂非线性变换生成x，有给定z下x的条件概率p(x|z)。一般地，隐空间表示z比观察数据x更抽象更精炼，刻画z的维数应远小于x，从随机信号到z只做简单变换，有时直接拿作z，表明隐空间的信息被压缩得很干净，任何冗余都被榨干，任何相关维度都被整合到一起，使得隐空间各维度相互独立，因此隐空间的随机点是有含义的。
1700540467
1700540468
将观察数据和其隐空间表示一起考虑，(x,z)，写出联合概率分布。从推断的角度看，联合概率q(x,z)=q(x)q(z|x)，其中q(x)为真实数据集上的经验数据分布，可认为已知，条件概率q(z|x)则要通过推断网络来表达；从生成的角度看，p(x,z)=p(z)p(x|z)，其中p(z)是事先给定的，如z～N(0,I)，条件概率p(x|z)则通过生成网络来表达。然后，我们让这两个联合概率分布q(x,z)和p(x,z)相互拟合。当二者趋于一致时，可以确定对应的边缘概率都相等，q(x)=p(x)，q(z)=p(z)，对应的条件概率也都相等q(z|x)=p(z|x), q(x|z)=p(x|z)。最重要的是，得到的生成网络和推断网络是一对互逆的网络。值得注意的是，这种互逆特性不同于自动编码器这种通过最小化重建误差学出的网络，后者是完全一等一的重建，而前者是具有相同隐空间分布（如：风格、主题）的再创造。
1700540469
1700540470
1700540471
