1700496280
1700496281
经济学家哈里·马科维茨凭借拓展了现代投资组合理论而获得1990年的诺贝尔经济学奖。他开创性的“均值-方差投资组合优化”理论告诉投资者如何在不同的资金和资产之间进行最优分配，在同一风险程度下收益达到最大化。所以当轮到马科维茨投资自己的退休储蓄时，他似乎应该是最胜任此项工作的人。他决定怎么做呢？
1700496282
1700496283
我应该计算资产阶级的历史协方差，并得出有效前沿。相反，我想象如果股市大涨，但我却没有入市（或如果它大跌，我却都投资在此）那我一定很悲伤。我的意图是尽量减少我未来的遗憾。所以我在债券和股票上的投资是一半对一半。
1700496284
1700496285
他为什么要这样做呢？诺贝尔奖得主的故事和他的投资策略可以作为人类非理性的一个例子：面对现实生活的复杂性，他放弃了理性的模型，转而遵循一个简单的启发法则。但正是由于现实生活的复杂性，一个简单的启发法实际上可能是理性的解决方案。
1700496286
1700496287
当涉及投资组合管理时，事实证明，除非你对市场信息非常有信心，你便可以忽略这些信息。应用马科维茨最优资产配置方案要求能对不同投资的统计资产做出良好的估计。在这些估计中，一旦犯错误，便可能会导致完全不同的资产分配，就可能增加风险。相比之下，你的钱均匀地分散在股票和债券上，你就不会受到可观察到的所有数据的影响。这种策略甚至不尝试拟合自己的投资类型的历史业绩，因此不会出现过度拟合的状况。
1700496288
1700496289
当然，仅仅使用一半对一半的分配方法并不一定是复杂性的最佳选择，但这里就有一些东西可以谈谈。如果你碰巧知道一组投资的期望均值和期望方差，那么使用均值-方差组合优化的最优算法就是其中一个最佳原因。但当正确估计的可能性很低，同时模型过于重视那些不值得信任的量时，那么警报应该在决策过程中响起：应该进行正则了。
1700496290
1700496291
受到例如马科维茨的退休储蓄的启发，心理学家格尔德·吉仁泽和亨利·布莱顿认为，人们在现实世界中使用的决策捷径在许多情况下，正是这种能做很好的决定的思维。“与广泛持有的处理得越少，准确度就越低的观点不同，”他们写道，“启发式的研究表明，更少的信息、计算和时间，其实是可以提高准确度的。”支持启发式思想的人更喜欢简单的答案，用更少的因素，或更少的计算，这正展现出“少即是多”的效果。
1700496292
1700496293
然而，对模型的终极复杂性进行处罚并不是减轻过度拟合的唯一途径。你还可以通过控制输入数据的适应速度来推动模型走向简单化。这使过度拟合可以照亮我们的历史——无论是作为一个社会，还是作为一个物种。
1700496294
1700496295
1700496296
1700496297
1700496299
算法之美：指导工作与生活的算法 人类进化中的过度拟合
1700496300
1700496301
《疾病与新食物摄入前的关联》
1700496302
1700496303
一只活着的老鼠所吃过的每一样食物，都一定没有杀死它。
1700496304
1700496305
20世纪90年代中期到2013年，美国的豆奶销量翻了两番多。但截至2013年年底，根据新闻报道，它的畅销似乎已经是过去时了，豆奶的销量远落后于杏仁奶的销量。食品和饮料研究员拉里·芬克尔在《彭博商业周刊》上这样说道：“坚果现在很流行，大豆听起来更像是老式的保健食品。”以推广豆浆而闻名的丝滑公司（正如其名字所暗示的），在2013年年末报告说，仅在上个季度，杏仁奶的产品销量就增长了超过50%。同时，其他饮料，例如椰子汁的领先品牌维塔可可，2014年度所报告的销售额就比2011年翻了一番——自2004年以来增加了惊人的300倍。正如《纽约时报》所说：“椰子汁似乎在我们模糊又熟悉的领域，已经从无形发展到不可避免的存在了，中间没有一丝停顿。”同时，在2013年，羽衣甘蓝的销量就增长了40%。2012年羽衣甘蓝最大的采购商是必胜客，他们把它放在沙拉上作为装饰。
1700496306
1700496307
人类生活的一些最基本的领域，比如我们应该把什么吃进我们的身体里，似乎很奇怪地都被那些昙花一现的潮流主宰着。使这些潮流席卷世界的部分原因是我们的文化能迅速做出改变。现在，信息比以往任何时候都更快地渗透到社会中，而全球供应链使消费者能够迅速改变他们的购买习惯（市场营销也鼓励他们这样做）。如果有特别的研究正好表明某些东西对健康有益，例如八角，它便会在一周内充斥整个博客，下一周就开始登上电视节目，并在6个月内出现在几乎每一家超市，接下来就有专门的八角食谱出版。这惊人的速度既是幸事又是一种祸害。
1700496308
1700496309
相反，如果我们观察生物（包括人类）的进化方式，我们会注意到一些有趣的现象：变化发生得很缓慢。这意味着，现代生物的属性不仅受制于它们目前所处的环境，也由它们过去的历史共同塑造而成。例如，人类神经系统奇怪的交叉分配（左侧身体由右侧大脑控制，反之亦然）反映出脊椎动物的进化史。这种现象被称为“交叉”，该理论出现在早期脊椎动物进化过程中（相对于它们的头，身体扭曲180度这个过程中），无脊椎动物如龙虾和蚯蚓的神经索是在“肚子”一侧，而脊椎动物的神经索是沿着脊柱生长的。
1700496310
1700496311
人类的耳朵又提供了另一个例子。从其功能的角度看，它是一种通过震动放大（主要通过三大骨骼系统：锤骨、砧骨、镫骨）将声波转化成电子信号的系统。这个放大系统是很惊人的，但它的具体工作原理有很多是与历史的限制有关的。事实证明，爬行动物的耳朵里只有一根骨头，但哺乳动物的下颌骨缺少其他的骨头。这些下颌骨显然被使用在哺乳动物的耳朵里了。所以我们耳朵解剖学上的确切形式和配置反映出我们的进化史至少和反应出的听觉问题一样多。
1700496312
1700496313
过度拟合的概念给我们提供了一个能在进化的压力下看到其长处的机会。虽然交叉神经纤维和改变用途的颌骨似乎已经是最理想的安排，但至少我们应该认识到，我们并不一定要让进化去完全优化生物，以适应生态环境的每一点改变，这样做会使其对环境的变化极其敏感。另一方面，必须利用现有的材料，施加一种有用的约束。这使得它很难引起生物体结构的急剧变化，更难拟合。作为一个物种，受制于过去，就使我们不能完全地调整以适应目前所知的情况，但这有助于我们在未知的未来保持身体强健。
1700496314
1700496315
一种相似的洞察力可能帮助我们抵制人类社会快速转变的潮流。说到文化，传统对进化起着制约作用。一点点的保守主义，一种偏向历史的偏见，可以使我们对抗起起落落的时尚循环，进行缓冲。当然，这并不意味着我们应该忽略最新的数据。努力跳向乐队花车（寓意赶潮流），但不一定真要跳到它的上面。
1700496316
1700496317
在机器学习中，缓慢移动的优点最明显地出现在一种称为早期停止的正则化技术中。当我们在本章开头看德国婚姻调查数据时，我们直接研究了最适合的一、二、九因素模型。然而在许多情况下，调整参数寻找给定数据的最佳拟合是其自身和内部的一种过程。如果我们提前停止这个过程，不允许模型变得太复杂，会发生什么呢？再次，那些似乎乍一看像是被漠视或不彻底出现的东西，相反，在自己的权利下就是一种重要策略。
1700496318
1700496319
例如，许多预测算法都是先寻找单一的最重要的因素，而不是直接跳跃到多因素模型。只有找到第一个因素后，才会去寻找第二重要的因素添加至模型，然后再找下一个。因此，在过度拟合有机会出现之前，它们的模型可以让过程在短时间内停止，阻止过程变得过于复杂刻意。计算预测的一个相关方法在一次只考虑一个数据点，模型在添加更多的数据点之前会调整到新的点。同样在那种情况下，模型的复杂性逐渐增加，所以将过程停止并变短有助于防止过度拟合。
1700496320
1700496321
这种设置（更多的时间就意味着更复杂）成为很多人类行为的特征。给自己更多时间去决定某件事并不一定意味着你就会做出更好的决定。但它的确会保证你最终会考虑更多的因素、更多的假设、更多的利弊，从而对风险过度拟合。
1700496322
1700496323
汤姆成为教授的经历正是这样的过程。他在上第一学期的第一堂课前，花了大量的时间完善他的讲座——1小时的课他准备了超过10小时。第二学期，他教了另一个班级，他无法再投入那么多的时间，然后就开始担心他的课将会变糟。但是奇怪的事情发生了：学生们更喜欢上第二学期的课。事实上，相比第一学期的课，他们更喜欢第二学期的课。结果汤姆发现，那些额外的时间都花在了令人困惑的细节上，而这些细节只会让学生们感到困惑，汤姆再次上课的时候，就把这些内容从课堂上去除了。汤姆最终意识到，这个问题在于，他一直把自己的品味和判断当作自己学生的衡量标准（该代理指标作为一个近似值效果相当不错，但它不值得过度拟合），这解释了为什么额外花时间精心“完善”的所有幻灯片都适得其反。
1700496324
1700496325
在各种机器学习任务中，正则化的有效性表明，我们可以通过有意识地思考和少做一些事情来做出更好的决定。如果我们最先想到的因素可能是最重要的因素，那么如果思考的量超过某一个度的话，就不仅是浪费时间和努力，它将会让我们找到更糟糕的解决方案。早期停止为理性的论证而不是一味地推理提供了基础。但是把它变成实用的建议还需要回答一个问题：我们什么时候应该停止思考？
1700496326
1700496327
1700496328
1700496329
[
上一页 ]
[ :1.70049628e+09 ]
[
下一页 ]