1700494848
1700494849
标准多臂老虎机问题假设各个拉把的回报概率不会随时间发生变化，但是航空公司、餐厅以及需要人们做出重复选择的其他环境未必满足这个条件。如果各个拉把的回报概率随时间发生变化（人们称之为“不安分的老虎机”），问题的难度就会显著提高。（事实上，不安分多臂老虎机问题的难度非常高，目前还无法利用算法四平八稳地彻底解决这个问题。人们认为这样的算法永远也不会出现。）原因之一就是我们再也不能先探索一段时间，然后尽情地利用。既然世界是变化的，那么正确的选择可能就是继续探索。一家餐厅令你失望，于是你再也不愿意去那里用餐，但是过了几年之后，也许你应该再去一次，万一那里换了一名经理呢。
1700494850
1700494851
亨利·大卫·梭罗在他的著名散文《散步》中，说他喜欢在离家近的地方旅行，他从不厌倦周围的环境，并且马萨诸塞州的风光总是能给他一些新奇的发现。他写道：“在方圆十英里或者午后散步所及范围内的景物与七十载人间岁月之间，其实可以发现一种和谐，一种你永远不会觉得非常熟悉的和谐。”
1700494852
1700494853
生活在烦躁不安的世界里，我们也必须有一颗不安分的心。只要事物在不断变化，我们的探索就不能偃旗息鼓。
1700494854
1700494855
不过，即使在一个动荡不安的世界里，针对标准版本多臂老虎机问题精心打造的算法技术仍然可以找到用武之地。基廷斯指数、上限置信区间等策略可以提供相当优秀的近似解决方案及经验法则，在回报概率随时间变化的幅度不大时效果更加明显。今天，世界上很多事件的回报概率变化幅度比以前小得多。地里的果实这一周成熟了，到了下一周就会烂掉，但是，正如安迪·沃霍尔所说的，“一杯可乐就是一杯可乐”。通过进化来调整自己的直觉以适应不断变化的世界，在工业标准化时代未必有用。
1700494856
1700494857
也许最重要的是，考虑有最优解的多臂老虎机问题，不仅可以为我们提供各种算法，还可以让我们得到一些深刻的见解。在经典多臂老虎机问题研究中形成的一些语汇，诸如探索与利用的矛盾、剩余时间的重要性，0-0选择方案的高价值和最小遗憾值等，它们不仅可以帮助我们以全新的方式理解眼前的具体问题，还可以帮助我们以全新的视角看待整个人类生活。
1700494858
1700494859
1700494860
1700494861
1700494863
算法之美：指导工作与生活的算法 探索——孜孜不倦
1700494864
1700494865
虽然实验室研究具有启发性，但是在人们面对的许多重要问题中，剩余时间都非常长，无法在实验室中加以研究。学习了解周围世界的组织结构、建立持久的社会关系都是伴随我们一生的任务。因此，了解早期探索、后期利用的一般模式可以给我们启发。
1700494866
1700494867
所有发展心理学家都渴望理解和解释关于人类的一个奇怪现象：我们培养能力与自主性的过程往往需要持续好多年。北美驯鹿和瞪羚自出生之日起，就必须做好拼命奔跑以逃脱捕食者的准备，但是人类需要一年多的时间才能迈出自己的第一步。加州大学伯克利分校发展心理学教授、《摇篮里的科学家》一书的作者艾莉森·高普尼克在解释为什么人类有如此长的依赖期时说：“它让你学会以发展的方式来解决探索与利用之间的取舍。”我们已经看到，教我们玩多臂老虎机的优秀算法往往在刚开始的时候倾向于探索，在后期则倾向于对所获取的知识加以利用。但是正如高普尼克指出的：“这种做法有一个缺点——在探索阶段，你无法获得充分的回报。”因此，童年是人生的探索阶段。“在童年时期，你可以尽情探索各种可能性，而不必担心回报的问题，因为爸爸、妈妈、奶奶和保姆会帮你处理好。”
1700494868
1700494869
把童年看作是人生算法中短暂的探索阶段，可能会让学龄前儿童的父母感受到一些安慰。（汤姆有两个热衷于探索的学龄前女儿，他希望算法可以指引她们的人生，让她们感到遗憾的次数降至最低。）同时，也让我们对儿童的理性有了新的深刻认识。高普尼克指出：“仔细研究长期以来人们对孩子的看法，就会发现成人通常会认为孩子在认知上有各种各样的缺陷，因为孩子们在某个方面的表现有些糟糕。他们不会系鞋带，他们不擅长长期规划，他们不擅长集中注意力。孩子们在这些方面表现得非常差。”但是，随意按动按钮、对新玩具非常感兴趣、思维跳跃性强，这些都是孩子们的特点。如果他们的目标是探索，这些就正是他们应该做的事情。如果你是一个婴儿，那么你抓到家里所有东西都会往嘴里放的行为，与赌徒在赌场里小心翼翼地拉动老虎机拉把的行为并没有本质上的不同。
1700494870
1700494871
一般而言，我们对理性的直觉认识常常来源于利用，而不是探索。当我们谈论决策过程时，我们通常只关注某个决定的即时回报——如果你把每一个决定都当作人生的最后一个决定，那么只有利用才是有意义的。但在一生中，你会做出很多决定。实际上，在做很多决定时，理性的做法是强调探索的重要性，重视新的东西而不是最好的东西，重视令人为之兴奋的东西，而不是一味追求安全，重视随机选择，而不是深思熟虑的决定。在人生早期，更应该如此。
1700494872
1700494873
孩子们的有些想法，在我们看来是任性，但是实际上，可能比我们想象的更明智。
1700494874
1700494875
1700494876
1700494877
1700494879
算法之美：指导工作与生活的算法 走出探索和利用的两难困境
1700494880
1700494881
莉迪娅·戴维斯
1700494882
1700494883
我的阅读生涯已经走到了一个十字路口，有过类似经历的人都熟悉我现在面临的难题：在我余下的时光里，我是应该不停地阅读新书，还是应该停止这种徒劳的行为（之所以徒劳，是因为新书永远读不完），然后重读那些曾经令我无比愉悦的书呢？
1700494884
1700494885
与学步的孩童相对应的另一个极端是已步入垂暮之年的老人。从探索与利用这个两难困境的角度去思考老年生活，也会为我们带来一些令人吃惊的洞见，让我们学会随着时间的推移调整我们对生活的期望。
1700494886
1700494887
斯坦福大学心理学教授劳拉·卡斯滕森通过自己的研究，对人们在衰老这个问题上的成见提出了质疑。她特别研究了人们的社会关系随着年龄增长而发生变化的过程与原因。这种变化有一个明晰的基本模式：人们社交网络的规模（即与他们保持社交关系的人数）几乎总是随着时间的推移而减少。不过，卡斯滕森的研究表明，我们应该改变对这个现象的看法。
1700494888
1700494889
传统观点认为，老年人的社交网络逐渐变小，恰恰说明生活质量会随着年龄的增长而逐渐下降，因为他们维系社会关系的能力在减弱，身体一天天衰弱，而且普遍与社会脱节。但是，卡斯滕森认为，老年人的社会关系越来越简单，是他们主观选择的结果。她说，这个变化是“一生的选择过程造成的结果。人们利用这个选择过程构建他们的社交网络，并且通过仔细谋划，适应调整，最大限度地提高社交和情感收益，同时最大限度地减少社交和情感风险”。
1700494890
1700494891
卡斯滕森和他的同事发现，老年人“修剪”一些不重要的关系，以便把注意力高度集中在亲朋好友身上，这才是造成他们的社交网络逐渐变小的主要原因。这个过程似乎是一个深思熟虑的选择：当人们接近生命的终点时，他们希望更多地关注对他们来说最重要的人。
1700494892
1700494893
卡斯滕森和合作伙伴芭芭拉·弗雷德里克森通过实验验证了这个假设。他们让人们从直系亲属、最近读过的一本书的作者和志趣相投的新交中选择一个人与自己共度30分钟。结果，年纪大的人往往选择家人，年轻人则希望与作者接触或者结交新朋友。但是，如果对实验做一个重要的修改，告诉年轻人他们即将搬到很远的地方，那么他们也会更愿意与家人待在一起。在另一项研究中，卡斯滕森和同事发现，同样的结果也发生在老年人身上：如果让老年人设想，由于医学上取得了突破，他们还可以再活20年，那么他们的选择就会和年轻人趋同。由此可见，社交偏好的这些差异与年龄本身无关，而是与人们对决策过程中剩余时间的认知有关。
1700494894
1700494895
计算机科学同样认为，探索与利用的困境对剩余时间很敏感。我们通常认为年轻人喜欢推陈出新，而老年人的做事方式往往一成不变。事实上，两者的行为都与他们各自的剩余时间高度一致。把社交网络限制在精心挑选、对自己最重要的圈子里，是一种理性的反应，因为老年人尽情享受社交成果的时间已经越来越少了。
1700494896
1700494897
认识到老年生活是充分利用前期积累的阶段，有助于我们以全新的视角看待一些经典的老年现象。举个例子，上大学时，你置身于一个新的社交环境之中，周围的人你都不认识，这对于你来说通常是一段催人向上、意气风发的时光，而老年公寓虽然也是一个新的社交环境，周围的人你也都不认识，但是这很可能会让你非常苦闷。这种差异在一定程度上是因为我们在人生各个阶段探索与开发这个连续统一体中所处的位置不同。
[
上一页 ]
[ :1.700494848e+09 ]
[
下一页 ]