1700044716
许多类似技术得到了很好的应用。事实上，现代工业机器人仍然应用这些技术来执行具体的任务，如检查复杂的电路板或将机器零件分类装进箱里。然而，基于规则（或模板）的机器视觉软件的关键局限性是它最适合结构化的环境，这样机器人的机器视觉只需处理一组内置选定的物体对象。给一个只负责区分螺母和螺栓的工业机器人呈现一只香蕉，它会发现图像库里没有图像能与这个奇怪的黄色物体匹配，就只能干瞪眼了。
1700044717
1700044718
当需要为无人驾驶汽车提供情境识别的能力时，基于规则的人工智能研发进展尤其缓慢。在观看2007年DARPA挑战赛时，我目睹了基于规则的人工智能程序在理解交通场景方面的完败（请原谅我使用了这个词语），即因一个失误导致两辆自动驾驶车辆相撞。
1700044719
1700044720
早在2007年，计算机视觉软件大多还是基于规则设计的。随着比赛的进行，来自我的母校（康奈尔大学）一辆叫天网（Skynet）的车缓慢谨慎地走在路上，紧随其后的是一辆来自麻省理工学院的汽车塔洛斯（Talos）。突然，康奈尔大学的车无缘无故地停了下来、后退，接着蹒跚前进，然后再次停止，麻省理工学院的汽车试图越过这辆蹒跚前行的车辆。但当后者慢慢要超车时，康奈尔大学的车毫无预兆地又开始移动了，于是塔洛斯撞上了天网的侧面。幸运的是没有人受伤，（后来）两支队伍还都挺享受地成为这次事件的参与者，因为这可能是历史上第一次“无人驾驶汽车对无人驾驶汽车”的事故。对这两辆汽车驾驶日志的分析表明，汽车碰撞是因为它们的机器视觉软件未能出色地完成工作。在事后分析中，康奈尔大学的团队得出的结论是，汽车突然刹车的原因是“一个测量任务的错误导致天网‘看到’了一个并不存在的障碍物，时不时地堵住了天网的道路”。麻省理工学院团队总结道:“塔洛斯把天网当作了一堆静态物体。”
1700044721
1700044722
如果指导麻省理工学院汽车的软件正确地把康奈尔大学汽车识别为移动车辆，事故就不会发生，反之亦然。这个例子充分说明了一件事，即具备识别道路上及其两侧物体的能力对于无人驾驶汽车的中层控制系统是多么的重要。“停着的摩托车”与“行驶中的摩托车”，这两个相似目标之间微小却又关键性的差别或许就会引发人命关天的大事件。
1700044723
1700044724
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043790]
1700044725
中层控制系统
1700044726
1700044727
我们将通过四个组成模块来解释中层控制系统的工作原理：第一个模块是占据栅格的软件工具；第二个模块是一个软件程序，用于识别并标记流入占据栅格的原始数据；第三个模块使用预测性的人工智能软件对障碍物用不确定性锥（Cones of Uncertainty）做替代；最后，第四个模块由一个短期轨迹规划器（Short-term Trajectory Planner）组成，负责引导汽车绕过感知到的障碍，同时保证遵守相应的交通规则。
1700044728
1700044729
我们先来谈谈第一个模块，占据栅格。占据栅格是一种软件工具，针对汽车外部环境进行实时、持续更新的三维数字建模。类似于一个包含了数字记录的后端数据库，占据栅格是一个存储了汽车周围实体对象信息的数字存储库。它既可以与中层控制软件的其他模块相配合，也能作为程序员的视觉参照模型。
1700044730
1700044731
流入占据栅格的数据，一些是源于已经存储的高清地图的静态数据，其他数据则来源于汽车视觉传感器的实时导入。随着数据从各种来源流入占据栅格，大多数程序员会使用颜色编码和容易识别的图标，在建立占据栅格模块时代替高频次出现在道路上的物体。
1700044732
1700044733
1700044734
1700044735
1700044736
图4.2 以十字路口识别的物体形成的一个占据栅格，同时叠加了高清地图数据和传感器数据
1700044737
1700044738
来源：谷歌公司
1700044739
1700044740
二十年前，通常的占据栅格是块状显示，而且画面粗糙，视觉感官水平跟老式游戏机中的吃豆人（Pac-Man）一样。在20世纪80年代，那时的无人驾驶汽车配置的是很重的小型计算机和电视摄像机，用于数据建模的占据栅格描绘出的汽车外场景是一帧一帧静态图像断续拼凑而成的。如今的占据栅格能够实时运行，通过列出汽车附近所有物体的滚动更新清单建立一个环境的动态模型。
1700044741
1700044742
讲到这里，细心的读者会停下来发现：在占据栅格技术发展史的大部分时间里，软件始终未能胜任正确识别物体的工作。这的确就是事实，但我们需要说明一个新的重要信息：占据栅格只是一个为后续路线规划服务的空间模型。为了解读环境场景，这时需要第二个软件模块来标记汽车传感器导入的原始数据。第二个模块借助深度学习软件对汽车附近的物体进行分类，这样一来占据栅格就可以存储这些信息，以供汽车操作系统的其余模块使用。
1700044743
1700044744
通过简化图像中呈现物体的识别过程，深度学习软件终于解开了人工感知的谜题而且促动了无人驾驶汽车的发展。我们将在后文中解释深度学习的内部工作原理，在这里我们将它概括为机器学习软件的一种类型，它使用人工神经网络技术从原始视觉数据流中识别目标。
1700044745
1700044746
在过去还无法准确标记数据资料的时代，占据栅格基本派不上用场，因为它只是对周边环境中的大型实物物体的一些粗糙模拟。由于不知道“潜伏”在车外的物体到底是什么，汽车软件系统的其他模块也就无法计算出最佳的应对措施，也无法预测这些“不明物体”下一步要做什么。直到最近，无人驾驶汽车也还只能在几乎没有移动物体的静态环境中稳定运行，例如工厂、矿山、农场，以及沙漠。在这些静态的环境中，无人驾驶汽车的引导软件能够很好地发挥作用，是因为它只需要躲避遇到的每一个障碍，而无须区分它们是什么。
1700044747
1700044748
深度学习使另一个技术的应用（不确定性锥）成为可能，该技术也大大提高了无人驾驶汽车软件在动态环境中的性能。这个被称为“不确定性锥”的工具是中层控制软件的第三个模块，用于预测汽车附近物体的位置和移动速度。一旦深度学习模块标记了一个物体，占据栅格就会显示出它的存在，不确定性锥就会预测物体下一步的运动方向。
1700044749
1700044750
不确定性锥为无人驾驶汽车提供了人工智能版的场景理解能力。当人类司机看到行人站得离汽车太近，他就会在脑海中思考要转向避开；在无人驾驶汽车中，利用不确定性锥技术也会进行类似的“脑海思考”。像是消防栓这样静止的物体，会用一个瘦小的圆锥体表示，因为它基本不大可能会移动。相比之下，快速移动的物体会用一个宽大的圆锥体表示，因为它可能运动到的地方比较多，所以它将来的位置是不确定的。
1700044751
1700044752
人类驾驶员并不会在脑海中将附近的每一个物体清晰地标记成椭圆锥体。然而，我们潜意识做的处理过程实际上是大致相同的。我们的大脑不断记录更新着周围出现的人和物体，结合以往的经验和眼前事物的状态，我们能猜测出这些周边事物的意图并预测出它们下一步会做什么。
1700044753
1700044754
机器人专家从天气预报领域借用了圆锥体的概念：如果你曾经看过电视上天气预报中气象学家说明龙卷风的运动轨迹时，你也许会注意到不确定性锥。圆锥的顶端标记的是当前已知的龙卷风位置。锥体尾端宽的部分是龙卷风的可能行进路线，即接下来的几天里它可能会肆虐的地方。锥体的开角越宽，龙卷风最后的终点越不确定。
1700044755
1700044756
中层控制软件按照如下方法创建圆锥体：首先，想象下在纸上画出一个物体，在物体周围画一个小圆圈，我们称它为“当前活动圈（current circle）”；然后，再画一个大圆圈，标记出未来十秒钟后物体可能会到达的所有位置，我们叫它“未来活动圈（future circle）”。最后，用两条线把小圆和大圆的边缘连接起来。这就是不确定性锥。
1700044757
1700044758
不确定性锥替代了人类驾驶员与行人之间的眼神交流作用。从无人驾驶汽车的视角来看，一个站在路边面向街道的行人会用稍微向前倾斜的锥体表示，表明她随时可能穿过街道。如果她的眼睛不是盯着前方，而是盯着手机，她的锥体图标则是另一种形状，或许更加窄小，因为她并没有准备好继续前进。如果她扫视了一眼无人驾驶汽车，她的锥体图标将进一步缩小，因为汽车的软件会识别到她看见了这辆车，也就不太可能挡在汽车的前进路线上。越不可预知的行人，锥体的形状就越大。摇摆不定的自行车骑行者比静止的行人有更大的不确定性，相应的锥体也就更大。四处乱撞的小狗或追着球跑的孩子，也都会用更大的锥体表示。
1700044759
1700044760
有时，即使一个静态的目标也可能会用一个大号锥体表示其不确定性——具有遮蔽性的建筑——虽然它们本身不大可能移动，但是可能会遮蔽了移动的物体。对于死胡同、转弯处，或随时可能会有乘客下车的一辆停在路边敞开车门的汽车，无人驾驶汽车的中层软件系统都会标记一个大号的不确定性锥。静止的校车也可能会产生不确定的大圆锥，虽然校车本身或许不动，但是随时都可能有孩子从车后跑出来。
1700044761
1700044762
当前三个模块完成了它们的工作后，第四个模块短期轨迹规划器就可以上场了。当汽车附近的物体都被标记并计算成了大小不一的不确定性锥，无人驾驶汽车的轨迹规划器就能制定出汽车前进的最佳路线。轨迹规划器使用精密完善的算法计算出最有效的前进路线，并保证遵守交通规则，减少行程时间和碰撞风险。
1700044763
1700044764
计算机尤其擅长计算这种非线性轨迹预测。在过去的几年中，软件已经被提升到了新的高度——计算机能比人更好地预测出物体的运动轨迹。特定条件下，可能的结果越多，计算机在计算各种可能性时表现得越好。添加的影响变量越多，如行人可能的运动范围，轨迹规划器的计算结果反而会提升更多。
1700044765