1700508316
1700508317
如果场景更为复杂，例如3D场景，或者有复杂光照、降雨等复杂气候等的场景，S的定义也会更为复杂。在训练人工智能机器人的过程中，强化训练是使用非常广泛的一种算法体系，也是目前工业界广泛采纳且应用较为成熟的一类方法论（如图11-38所示）。
1700508318
1700508319
1700508320
1700508321
1700508322
图11-38 踢足球的机器人
1700508323
1700508324
Q-Learning算法只是一个算法核心，在对外界的感知中很可能需要其他组件或者设备进行辅助，例如使用卷积神经网络作为图像感知的处理途径，以及使用多种复杂的感知系统组合作为S输入和R输入的处理手段等。整个强化学习的学习思路更像是一个知晓“利”与“弊”、“快乐”与“痛苦”的真实的人，所以基于这种本能刺激得到的策略更像是人在进行主观能动性成分更多的学习。因此，强化学习也被认为是在未来人工智能中最有前景的算法体系。至于其他工作，从理论上讲，就只是计算能力、存储能力和样本数量提升的问题了。
1700508325
1700508326
1700508327
1700508328
1700508329
数据科学家养成手册 [:1700503592]
1700508330
数据科学家养成手册 11.9 神经网络——深度学习
1700508331
1700508332
神经网络是一种成熟时间相对较晚的算法体系，是机器学习的一个分支领域。其实直到现在，对各种神经网络模型的研究仍在继续，包括其底层实现的数学层面理论依据和推导过程等也在研究过程中。由于神经网络的实验效果比较好，所以在各个深层领域有越来越多成熟的产品落地。
1700508333
1700508334
数据科学家养成手册 [:1700503593]
1700508335
11.9.1 神经元
1700508336
1700508337
神经网络的设计思路源于对人脑神经网络的一种模拟尝试。
1700508338
1700508339
人的大脑皮层中大约有140亿个神经元细胞，而人的全身有数百亿到上千亿个神经元细胞，这是一个非常复杂的神经网络。与计算机不同，神经网络虽然工作频率非常低，但是具有独特的大规模并行分布式结构，因此擅长对抽象事物的学习和模式识别，这些都是神经网络非常吸引人的地方。
1700508340
1700508341
如图11-39所示，人的神经细胞枝杈很多，一边比较粗大，另一边比较纤细。上端粗大的部分就是细胞体。细胞体上有一些小枝杈，叫作“树突”。细胞体下方像尾巴一样细长的东西叫作“轴突”。不同细胞之间通过树突和轴突传递信息，它们的接触点叫作“突触”。准确地说，一个细胞的轴突通过突触将信号传递给另一个细胞的树突。大量细胞连在一起，形成了复杂的神经网络。
1700508342
1700508343
神经细胞通过化学信号进行信息的传递，其传递机制非常复杂。我们使用二进的电子计算机对这一机制进行模拟，就是希望通过一种类似的方式获得像神经细胞那样强大的数据处理效果。
1700508344
1700508345
1700508346
1700508347
1700508348
图11-39 单个神经元细胞
1700508349
1700508350
为了模拟神经元细胞，人们设计了一种单个神经元模型（如图11-40所示），叫作“Rosenblatt感知器”，它几乎是最简单的、不可再分的数字神经元。其中，有n个维度的输入，每个维度的输入对应一个权重，这样就有n个权重，再加上一个偏置b，最后是一个激活函数。
1700508351
1700508352
1700508353
1700508354
1700508355
1700508356
1700508357
1700508358
图11-40 神经元模型
1700508359
1700508360
这样，(φ)x分类器函数里的x就是一个线性分类器，激活函数则用来对这个输出的“波幅”进行限制，通常限制在 [0, 1]。当然，也会根据不同的需求产生其他激活函数。
1700508361
1700508362
在这个表达式中，wT是一个n维的向量，x也是一个n维的向量，这两个向量做内积再加b，就形成了一个有关n维的x向量的线性分类器。如果不约束后面函数值的输出，那么只要给定一个wT和一个x，就会产生一个实数范围内的数值。一般来说，对于简单场景下的分类模型，可以只尝试使用一个线性分类器来实现，这相当于在一个n维空间中寻找一个超平面，并尝试用这个超平面把空间中的向量分成两类。
1700508363
1700508364
例如，在一个二维空间中有一个分类器
1700508365