1700540380
1700540381
(2)不损失位置信息,并不断产生更细节的位置信息。
1700540382
1700540383
参考文献[37]给出了一套具体的做法。
1700540384
1700540385
(1)去掉一切会丢掉位置信息的结构,如池化层。
1700540386
1700540387
池化层是在邻近区域取最大或取平均,会丢失这一区域内的位置信息:无论怎么布局,最大值和平均值是不变的。位置不变性是应对图片分类的一个优良性质,但是对图片生成来说是一个糟糕的性质,因为这是一个降采样的过程,通过丢失细节信息来保留高级语义(即分类相关信息)。
1700540388
1700540389
(2)使用分数步进卷积层。
1700540390
1700540391
模型要做的不是抽象而是具象,计算是升采样的过程,逐步提供更多细节。将100维随机向量经过一层,变换成一个4×4×1024的张量,宽度和高度都为4,虽然大小有限,但是暗示了位置的存在,接着经过层层变换,高度和宽度不断扩大,深度不断减小,直至输出一个有宽度、高度及RGB三通道的64×64×3图片。
1700540392
1700540393
传统卷积层只能缩小或保持前一层的高度和宽度,对于扩大高宽无能为力,我们需要采用特殊的卷积层来实现增加高宽的升采样计算[38],即分数步进卷积层,如图13.13所示。
1700540394
1700540395
1700540396
1700540397
1700540398
图13.13 分数步进卷积层
1700540399
1700540400
步长大于1的传统卷积层会把输入图缩成一张高宽更小的图,5×5的图经过核3×3步长2×2的卷积层得到一个2×2的图,如图13.14(a)所示。如果这个过程可逆,则由输入2×2图可得5×5图。严格意义上的逆过程是数学上的求逆操作,这太复杂。分数步进卷积层只是象征性地保证输入2×2图输出5×5图,同时仍满足卷积操作的定义。怎么做到?填零,不仅边缘处填零,像素点间也填零。我们将2×2图扩为5×5图,再经过核3×3步长1×1的卷积层,就能得到一个5×5图,如图13.14(b)所示。这个“逆”卷积过程只是图分辨率的逆,而非数学意义上的求逆。
1700540401
1700540402
1700540403
1700540404
1700540405
图13.14 卷积操作
1700540406
1700540407
(3)去掉最后的全连接层
1700540408
1700540409
通常CNN最后接全连接层,是为了综合各维度做非线性变换,应对图片分类的目标。这里的任务是生成图片,用全连接层不仅没必要,还会打乱多层卷积建立的空间结构。越靠近图片输出端,越要精心呵护宽高二维平面上的位置信息,反而在输入端可以增加一个全连接层,将100维随机向量经过矩阵乘法转换成4×4×1024的张量。
1700540410
1700540411
(4)批量归一化和ReLU激活函数
1700540412
1700540413
批量归一化是2015年Loffe & Szegedy提出的用于改进神经网络结构的一层,称为Batchnorm层,现已被广泛使用[39]。单个神经元在batch层面上做正规化处理,得到均值0方差1的新batch,保证通畅的梯度流,免除糟糕初始化的影响,改善模型的训练效果。生成模型越深,越需要Batchnorm层,否则训练不充分,极易出现模型坍塌问题,总生成相同的图片样本。另外,为了避免梯度饱和,让学习更稳定,内部使用ReLU激活函数,只在图片输出层用Tanh激活函数。
1700540414
1700540415
■ 判别器
1700540416
1700540417
判别器鉴别生成图片和实际图片。这是一个典型的图片分类任务,但是又不同于一般的图片分类。真品和赝品的区别,往往是细节上的差异,而不是宏观层面的语义差异。判别器的多层卷积网络,依然抛弃池化层,将它替换为步长大于1的卷积层,虽然也是一个降采样的过程,但是没有池化层那样粗放。判别器的最后一层不接全连接层,扁平化处理后直接送给Sigmoid输出层,最大限度地留住位置细节。另外,判别器的内部激活函数使用LReLU,也是要最大限度地留住前层信息。判别器也用到Batchnorm层。
1700540418
1700540419
1700540420
1700540421
1700540423
百面机器学习:算法工程师带你去面试 04 ALI:包揽推断业务
1700540424
1700540425
1700540426
1700540427
场景描述
1700540428
1700540429
宋朝有位皇帝非常喜爱书画,创建了世界上最早的皇家画院。一次考试,他出的题目是“深山藏古寺”,让众多前来报考的画家画。有的在山腰间画了一座古寺,有的将古寺画在丛林深处,有的古寺画得完整,有的只画了寺的一角。皇帝看了都不满意,就在他叹息之时,一幅画作进入他的视线,他端详一番称赞道:“妙哉!妙哉!”原来这幅画上根本没有寺,只见崇山峻岭间,一股清泉飞流直下,一位老和尚俯身在泉边,背后是挑水的木桶,木桶后弯弯曲曲远去的小路,消失在丛林深处(见图13.15)。寺虽不见于画,却定“藏”于山,比起寺的一角或一段墙垣,更切合考题。
[
上一页 ]
[ :1.70054038e+09 ]
[
下一页 ]