1700540410
1700540411
（4）批量归一化和ReLU激活函数
1700540412
1700540413
批量归一化是2015年Loffe & Szegedy提出的用于改进神经网络结构的一层，称为Batchnorm层，现已被广泛使用[39]。单个神经元在batch层面上做正规化处理，得到均值0方差1的新batch，保证通畅的梯度流，免除糟糕初始化的影响，改善模型的训练效果。生成模型越深，越需要Batchnorm层，否则训练不充分，极易出现模型坍塌问题，总生成相同的图片样本。另外，为了避免梯度饱和，让学习更稳定，内部使用ReLU激活函数，只在图片输出层用Tanh激活函数。
1700540414
1700540415
■ 判别器
1700540416
1700540417
判别器鉴别生成图片和实际图片。这是一个典型的图片分类任务，但是又不同于一般的图片分类。真品和赝品的区别，往往是细节上的差异，而不是宏观层面的语义差异。判别器的多层卷积网络，依然抛弃池化层，将它替换为步长大于1的卷积层，虽然也是一个降采样的过程，但是没有池化层那样粗放。判别器的最后一层不接全连接层，扁平化处理后直接送给Sigmoid输出层，最大限度地留住位置细节。另外，判别器的内部激活函数使用LReLU，也是要最大限度地留住前层信息。判别器也用到Batchnorm层。
1700540418
1700540419
1700540420
1700540421
1700540422
百面机器学习：算法工程师带你去面试 [:1700532249]
1700540423
百面机器学习：算法工程师带你去面试 04 ALI：包揽推断业务
1700540424
1700540425
1700540426
1700540427
场景描述
1700540428
1700540429
宋朝有位皇帝非常喜爱书画，创建了世界上最早的皇家画院。一次考试，他出的题目是“深山藏古寺”，让众多前来报考的画家画。有的在山腰间画了一座古寺，有的将古寺画在丛林深处，有的古寺画得完整，有的只画了寺的一角。皇帝看了都不满意，就在他叹息之时，一幅画作进入他的视线，他端详一番称赞道：“妙哉！妙哉！”原来这幅画上根本没有寺，只见崇山峻岭间，一股清泉飞流直下，一位老和尚俯身在泉边，背后是挑水的木桶，木桶后弯弯曲曲远去的小路，消失在丛林深处（见图13.15）。寺虽不见于画，却定“藏”于山，比起寺的一角或一段墙垣，更切合考题。
1700540430
1700540431
1700540432
1700540433
1700540434
深山现古寺
1700540435
1700540436
1700540437
1700540438
1700540439
深山藏古寺
1700540440
1700540441
图13.15 深山藏古寺
1700540442
1700540443
人们看画，看的不仅是画家的画技，还有所表达的主题。同一主题，表现的手法很多，不同人会画出不同画。反过来，观者在看到这些不同画时，都能联想到同一主题或相似主题。给一个主题，创作一幅画，这就是生成的过程；给一幅画，推测画的主题，这就是推断的过程。生成与推断是互逆的。这样的例子还有很多，一方面，当要测试一个人的创造力时，给他一个话题让他写文章，给他一个思路让他想实施细节，这类测试问题都是开放性的，没有标准答案，却不妨碍我们考查对方的能力；另一方面，当听到一个人的发言或看到他的作品时，我们会揣摩对方的真实用意，他的话是什么意思，他的作品想表达什么。
1700540444
1700540445
我们面对两类信息，一类可以观察到，一类虽观察不到但似乎就在那里，或直白，或隐约，我们通过推断感受到它的存在。这两类信息在两种表达空间里，一种是观察数据所在的数据空间，一种是隐变量所在的隐空间，后者是前者的一种抽象。生成和推断就是这两种空间上信息的转换，用两个深度神经网络来构建，一个是生成网络，一个是推断网络。生成网络建立从隐空间到数据空间的映射，推断网络建立从数据空间到隐空间的映射。数据空间的信息看得见，称为明码；隐空间的信息看不见，称为暗码，因此生成网络是一个解码器（Decoder），推断网络是一个编码器（Encoder）。
1700540446
1700540447
把生成和推断相结合，想象一个场景，我们想学习印象派画家的画风，仔细观察多幅名作，体会它们的表现手法及反映的主题，然后我们凭着自己的理解，亲自动手，创作一幅印象派画。整个过程分为推断和生成。那么，如何提高我们的绘画水平？我们需要一位大师或懂画的评论家，告诉我们哪里理解的不对，哪里画的不对。我们则要在评论家的批评中增进技艺，以至于让他挑不出毛病。这也是GANs的基本思路。
1700540448
1700540449
2017年的一篇论文提出ALI（Adversarially Learned Inference）模型[40]，将生成网络和推断网络一起放到GANs的框架下，进而联合训练生成模型和推断模型，取得不错的效果。
1700540450
1700540451
知识点
1700540452
1700540453
概率推断，隐空间，Encoder/Decoder
1700540454
1700540455
问题 生成网络和推断网络的融合。
1700540456
1700540457
难度：★★★☆☆
1700540458
1700540459
请问如何把一个生成网络和一个推断网络融合在GANs框架下，借助来自判别器的指导，不仅让模拟样本的分布尽量逼近真实分布，而且让模拟样本的隐空间表示与真实样本的隐空间表示在分布上也尽量接近。