1700412127
玻璃笼子：自动化时代和我们的未来 [:1700411243]
1700412128
1700412129
玻璃笼子：自动化时代和我们的未来
1700412130
1700412131
1700412132
1700412133
1700412134
玻璃笼子：自动化时代和我们的未来 第七章 自动化，为了人类
1700412135
1700412136
1700412137
1700412138
1700412139
1700412140
1700412141
1700412142
玻璃笼子：自动化时代和我们的未来 到底谁需要人类？
1700412143
1700412144
讨论自动化时经常会跳出这个问题，有时运用了其他修辞或表达方式，但归根结底发问的内容都是一样的。如果计算机快速发展，而相比之下，人类的发展进程相对较慢，人类笨拙且容易犯错，那么，为什么不设计一个完美无缺、至臻至善的系统，不需要人类监控或干预就能独立执行任务呢？为什么不把公式里所有的人类因素都剔除掉呢？2013年《连线》杂志刊登了一则封面故事，文中技术理论家凯文·凯利宣布：“我们要让机器人来接班。”他以航空业为例：“计算机大脑——飞机自动驾驶仪能自动驾驶787喷气机，但是，我们却要在驾驶舱里安排人类飞行员，负责看管自动驾驶，做到‘有备无患’，这是不合理的。”2011年爆出有人驾驶谷歌汽车发生车祸的新闻以后，某作家在知名的技术博客上呼吁：“我们需要更多的机器驾驶员！”针对芝加哥公立学校教师罢工事件，《华尔街日报》评论员安迪·凯斯勒半开玩笑地说：“为什么不忘了教师这回事，给404 151个学生每人发个iPad或是安卓平板电脑呢？”在2012年发表的一篇短文中，硅谷德高望重的风险资本家维诺德·科斯拉认为，当医疗软件（他称之为“算法医生”）不再只是初级护理医师的帮手，而是经过不断发展，已经可以用来诊断病情且完全取代医生时，医疗事业将会取得长足进步。他写道：“最终，我们不再需要普通的医生。”自动化可以“医治”我们这些不完美的自动化。
1700412145
1700412146
这个想法非常诱人，却过于简单了。机器会遗传制造者那容易犯错误的毛病。即使是最先进的技术，早晚也会出现故障、无法运行。而在运行过程中，计算机系统可能会遇到许多设计者和程序员都没有预料到的情况，这时，算法就会受困其中，无从入手。在2009年年初，大陆连线在布法罗坠机前的几个星期，美国空中客车A320飞机在从纽约拉瓜迪亚机场起飞的过程中撞上了一群加拿大雁，导致所有引擎都失去了动力。机长切斯利·萨伦伯格和副驾驶杰弗里·斯基尔斯立即做出反应，冷静果断，经历了令人备受折磨的3分钟，成功将几近残废的飞机安全迫降在哈得孙河面上。所有乘客和机组人员都获救了。如果驾驶室里没有负责“照看”A320的驾驶员，这架搭载着最先进自动化技术的飞机将会坠毁，机上的所有人员都会遇难。一架客机所有的引擎都失去动力是很少见的。但是，在出现机械故障、自动飞行失灵、恶劣的天气和其他意外事故时，驾驶员拯救整个飞机的事件却并不罕见。德国《明镜》周刊（Der Spiegel）在2009年的航空安全特辑中写道：“一次又一次地，自动化飞机上的驾驶员总会遇到一些飞机工程师未曾预料到的、新的、危险的意外情况。”
1700412147
1700412148
其他领域也存在这个问题。许多新闻媒体都报道了谷歌普锐斯发生的严重事故。但是，我们不知道，自始至终，谷歌汽车和其他自动测试车辆都配有备用司机，他们要在计算机无法完成操作时接过方向盘。按照政策规定，谷歌要求汽车在居民区街道上行驶时，都必须由人来驾驶；任何员工想要驾着谷歌汽车出去兜风，都必须完成严格的紧急驾驶技术训练。自动驾驶汽车并不像看起来那样完全不需要人类驾驶。
1700412149
1700412150
在医疗领域，医护人员经常要推翻临床诊疗计算机给出的错误指示或建议。许多医院发现，虽然计算机开药系统能降低分发药品时的常见错误，但也会带来新的问题。2011年在某家医院进行的一项研究表明，事实上，开药实现自动化以后，重复开药的情况反而增加了。诊断软件也远非完美。可能大多数时候，“算法医生”会给出正确的诊断和治疗方案，但是如果你的各种症状同计算机里用于计算概率的备选档案不符，那你就应该庆幸诊室里还有个人类医生，他会复核计算机的计算结果，并推翻计算机的诊断。
1700412151
1700412152
自动化技术变得越来越复杂，各项技术之间的关联性不断增强，软件指示、数据库、网络协议、传感器和机械部件之间环环相扣、相互依存。各个系统对科学家所说的“连锁故障”非常敏感，某个组成部件的失灵会引发大面积的、灾难性的连环故障。2010年，一组物理学家在《自然》杂志上发表了一篇文章，称人类世界是由一个个“相互依存的网络”构成的。“各种各样的基础设施，例如供水系统、交通、燃料和电厂”都通过电路或其他联结方式关联起来，这使得它们“对随机故障极度敏感”。即使只有数据交换领域才存在这种紧密的联系，一旦某一环节出现问题也会带来非常严重的后果。
1700412153
1700412154
这种脆弱越来越难以识别。麻省理工学院计算机科学家南希·莱韦森在《建造一个更安全的世界》（Engineering a Safer World）一书中指出，对于过去的工业机械化，我们可以“全面计划、理解、预测并保护各组件之间的相互作用”，在投入使用之前，系统的所有设计均需要经历严格的测试，“而现代的、高科技系统再也不具备这些特性了”。同它们事无巨细的前辈相比，现代系统的“智力控制性”较低。所有的部件都能完美运行，但是一个小的错误或是系统设计的疏忽——数十万行软件代码中隐藏的一个小失误仍然会引发严重事故。
1700412155
1700412156
计算机的决策和触发速度快得惊人，这也加剧了风险。2012年8月1日早上那惊心动魄的一小时就恰恰证明了这一点。当时，华尔街最大的贸易行骑士资本集团（Knight Capital Group）推出了一个新的买卖股票的自动程序。但是这个先进的软件程序存在一个缺陷，在测试的时候并没有被发现。程序一经启动，立即引发了大量未授权的、不合理的交易，每秒钟的股票交易金额达260万美元。当骑士资本的数学家和计算机科学家找到问题源头并关掉违规程序时，已经过去了45分钟，这个软件造成的错误交易金额高达70亿美元。骑士资本最终损失了近5亿美元，濒临破产边缘。事件发生后的一周之内，华尔街其他公司联合起来为骑士资本提供资金支持，帮助其摆脱困境，避免了又一场金融业的灾难。
1700412157
1700412158
当然，技术会不断进步，问题也会得到修正。但是，完美无瑕只能是一种理想状态，永远都无法实现。即使人类可以设计并构建一个完美的自动化系统，这个系统还是要在一个不完美的世界里运行。无人驾驶汽车不会行驶在乌托邦的街道上。机器人也不是在极乐世界的工厂里工作。还是会有大雁群和雷击。我们坚信会建造一个完全自给自足的、可靠的自动化系统，这本身就是自动化偏好的最好证明。
1700412159
1700412160
不幸的是，不仅技术专家普遍坚信完美系统的存在，工程师和软件程序员——设计系统的人也持这种观点。1983年，伦敦大学学院的工程心理学家立萨尼·班布里奇在《自动化》（Automatica）杂志上发表了一篇经典文章，他指出，计算机自动化的核心部分存在一个难题。因为设计人员总是认为人类“不可靠且效率低”，至少同计算机相比是这样，所以他们努力弱化人类在系统运行中的作用。人们最终沦为监控者，只能被动地看着电脑屏幕。而人类思维涣散是出了名的，他们绝对无法胜任监控者的工作。对于人类警惕性的研究可以追溯到“二战”时期，当时英国的雷达操作员负责监控德国潜艇，研究表明，即使人们特别积极主动，也无法将注意力停留在相对稳定的事情上超过半个小时。他们会觉得无聊，会开始做白日梦，注意力就会游离。班布里奇写道：“这意味着，人类无法完成针对可能性非常低的异常情况的基本监视任务。”
1700412161
1700412162
他补充说，并且人类的技能“如果不使用还会退化”，所以，即使是经验丰富的系统操作员，如果他主要的工作仅仅是监控而不是行动，那么他最终也会变得“经验不足”。随着本能和条件反射能力的生疏，他很难定位或辨别问题，他的反应会变得迟钝，需要花时间来思考，而不是快速、自动地做出决断。加之丧失了态势感知能力，专业技能的退化会增加犯错的概率，这样下去，早晚有一天，操作员会无法胜任自己的工作。一旦发生这种情况，系统设计者又将进一步缩减操作员的任务，让他们远离具体的行动，这样一来，操作员未来犯错误的概率又会增加。有人猜测，人类是系统中最弱的一环，现在我们自己就将这一假设变成了现实。
1700412163
1700412164
玻璃笼子：自动化时代和我们的未来 [:1700411244]
1700412165
是否需要考虑人类因素？
1700412166
1700412167
人类工程学是艺术和科学结合的产物，是一门研究如何使工具和工作场所适应人类需求的学科，最早可以追溯到古希腊时期。希波克拉底在“论外科手术”（On Things Relating to the Surgery）一文中，给出了精确的指示，他告诉我们应该如何布置手术室的照明设施和内饰，如何摆放和操作医疗工具，甚至还给出了医生的着装建议。在许多希腊工具的设计中我们可以看到，工具的形状、重量和平衡性是如何影响工人的生产力、体力和健康的，古希腊人在这方面可谓细致考究。亚洲文明早期也是如此，各种迹象表明，工人的工具都经过了精心设计，从身体上和心理上都给工人带来了舒适感和满足感。
1700412168
1700412169
但是，直到“二战”时才诞生了人类工程学，还有它的表亲——一门理论性更强的正式学科，控制论。上万名不经事的士兵和刚刚招募的新兵要扛起这些复杂的、危险的武器和机器，但他们没有时间接受训练。蹩脚的设计和令人混乱的操作让人无法容忍。要感谢那些先锋的思想者，例如诺伯特·维纳、美国空军心理学家保罗·菲茨和阿尔方斯·查帕尼斯，军队和工业规划者开始认识到，复杂的技术系统的成功，除了系统机械组件和电子调节器以外，人类也扮演了不可或缺的角色，他们开始重视人类的价值。在严格的泰勒主义理论里，你不能制造一台完美的机器，然后让工人去适应这台机器；你必须设计一台机器，让它去适应人类的工作。
1700412170
1700412171
最开始是受战争启发，而后被计算机进入商业、政府和科学界的潮流推动，一大批敬业的心理学家、生理学家、神经生物学家、工程师、社会学家和设计师开始将他们的才华投入到人类和机器的互动研究中来。虽然他们的研究焦点曾集中于战场、工厂，但还是充满浓浓的人本主义气息：将人类和技术融合起来，高效、富有弹性、安全的共生关系，和谐的人机伙伴关系，互惠共赢。如果我们生活在一个复杂系统的时代，那么人类工程学家就是形而上学的大师。
1700412172
1700412173
或者至少人类工程学应该是形而上学的大师。大多数情况下，人们忽视了人类工程学领域（现在一般称为人因工程学）的发现或洞见，或者对其置之不理。原来，人们关注计算机或其他机器给人类思维和身体带来的影响，而今，这个关注点已经逐渐被追求效率、速度和准确度的最大化所取代——或者干脆就是追求利益的最大化。软件程序员没有接受过人类工程学方面的训练，他们对相关的人因研究置若罔闻。虽然工程师和计算机科学家非常关注数学和逻辑，他们天生厌恶人因领域的“软”关注，但这也无济于事。人类工程学先驱戴维·迈斯特于2006年去世，在去世前的几年，他回忆起自己的职业生涯：“他们在工作中经常需要克服许多困难，所以取得的成就几乎都是意料之外的。”他略带遗憾地总结说：“技术发展的进程和利益推动捆绑在一起，结果导致人的价值很少得到尊重。”
1700412174
1700412175
情况也并不总是如此。18世纪后半叶，当启蒙运动的科学发现开始转变为工业革命的真正机器时，人类开始认为，技术发展是推动历史的因素之一。那也是政治动荡的年代，这种时间上的重合并非偶然。启蒙运动倡导的民主和人本思想在美洲和法国的革命中达到了顶峰，并影响了社会各界对科学和技术的看法。如果说工人还没有认识到技术进步的重要性，那么学者却已经对技术给予了高度重视，他们将技术革新视作政治改革的途径。“进步”具有了社会意味，而“技术”只起到了修饰作用。用文化历史学家利奥·马克斯的话来说，启蒙运动思想家，例如伏尔泰、约瑟夫·普利斯特里和托马斯·杰斐逊见证了“新科学和技术并没有自我终结，而是作为工具，推动了社会的全面转型”。
1700412176