1700537813
在这里，我们还并不涉及模型参数的学习，而是通过精心设计一个模型参数以说明包含一个隐含层的多层感知机就可以确切地计算异或函数，如图9.1所示。图中有Z1和Z2两个隐藏单元。在隐藏单元Z1中，X和Y的输入权重均为1，且偏置为1，等同于计算H1=X+Y−1，再应用ReLU激活函数max(0,H1)，其真值表如表9.2所示。同理，隐藏单元Z2的输入权重均为−1，偏置为−1，真值表如表9.3所示。可以看到，第一个隐藏单元在X和Y均为1时激活，第二个隐藏单元在X和Y均为0时激活，最后再将两个隐藏单元的输出做一个线性变换即可实现异或操作，如表9.4所示。
1700537814
1700537815
1700537816
1700537817
1700537818
图9.1 可以进行异或运算的多层感知机
1700537819
1700537820
表9.2 隐层神经元Z1的真值表
1700537821
1700537822
X
1700537823
1700537824
Y
1700537825
1700537826
H1 = X+Y−1
1700537827
1700537828
Z1 = max(0, H)
1700537829
1700537830
0
1700537831
1700537832
0
1700537833
1700537834
−1
1700537835
1700537836
0
1700537837
1700537838
0
1700537839
1700537840
1
1700537841
1700537842
0
1700537843
1700537844
0
1700537845
1700537846
1
1700537847
1700537848
0
1700537849
1700537850
0
1700537851
1700537852
0
1700537853
1700537854
1
1700537855
1700537856
1
1700537857
1700537858
1
1700537859
1700537860
1
1700537861
1700537862
表9.3 隐层神经元Z2的真值表