1700496306
1700496307
人类生活的一些最基本的领域，比如我们应该把什么吃进我们的身体里，似乎很奇怪地都被那些昙花一现的潮流主宰着。使这些潮流席卷世界的部分原因是我们的文化能迅速做出改变。现在，信息比以往任何时候都更快地渗透到社会中，而全球供应链使消费者能够迅速改变他们的购买习惯（市场营销也鼓励他们这样做）。如果有特别的研究正好表明某些东西对健康有益，例如八角，它便会在一周内充斥整个博客，下一周就开始登上电视节目，并在6个月内出现在几乎每一家超市，接下来就有专门的八角食谱出版。这惊人的速度既是幸事又是一种祸害。
1700496308
1700496309
相反，如果我们观察生物（包括人类）的进化方式，我们会注意到一些有趣的现象：变化发生得很缓慢。这意味着，现代生物的属性不仅受制于它们目前所处的环境，也由它们过去的历史共同塑造而成。例如，人类神经系统奇怪的交叉分配（左侧身体由右侧大脑控制，反之亦然）反映出脊椎动物的进化史。这种现象被称为“交叉”，该理论出现在早期脊椎动物进化过程中（相对于它们的头，身体扭曲180度这个过程中），无脊椎动物如龙虾和蚯蚓的神经索是在“肚子”一侧，而脊椎动物的神经索是沿着脊柱生长的。
1700496310
1700496311
人类的耳朵又提供了另一个例子。从其功能的角度看，它是一种通过震动放大（主要通过三大骨骼系统：锤骨、砧骨、镫骨）将声波转化成电子信号的系统。这个放大系统是很惊人的，但它的具体工作原理有很多是与历史的限制有关的。事实证明，爬行动物的耳朵里只有一根骨头，但哺乳动物的下颌骨缺少其他的骨头。这些下颌骨显然被使用在哺乳动物的耳朵里了。所以我们耳朵解剖学上的确切形式和配置反映出我们的进化史至少和反应出的听觉问题一样多。
1700496312
1700496313
过度拟合的概念给我们提供了一个能在进化的压力下看到其长处的机会。虽然交叉神经纤维和改变用途的颌骨似乎已经是最理想的安排，但至少我们应该认识到，我们并不一定要让进化去完全优化生物，以适应生态环境的每一点改变，这样做会使其对环境的变化极其敏感。另一方面，必须利用现有的材料，施加一种有用的约束。这使得它很难引起生物体结构的急剧变化，更难拟合。作为一个物种，受制于过去，就使我们不能完全地调整以适应目前所知的情况，但这有助于我们在未知的未来保持身体强健。
1700496314
1700496315
一种相似的洞察力可能帮助我们抵制人类社会快速转变的潮流。说到文化，传统对进化起着制约作用。一点点的保守主义，一种偏向历史的偏见，可以使我们对抗起起落落的时尚循环，进行缓冲。当然，这并不意味着我们应该忽略最新的数据。努力跳向乐队花车（寓意赶潮流），但不一定真要跳到它的上面。
1700496316
1700496317
在机器学习中，缓慢移动的优点最明显地出现在一种称为早期停止的正则化技术中。当我们在本章开头看德国婚姻调查数据时，我们直接研究了最适合的一、二、九因素模型。然而在许多情况下，调整参数寻找给定数据的最佳拟合是其自身和内部的一种过程。如果我们提前停止这个过程，不允许模型变得太复杂，会发生什么呢？再次，那些似乎乍一看像是被漠视或不彻底出现的东西，相反，在自己的权利下就是一种重要策略。
1700496318
1700496319
例如，许多预测算法都是先寻找单一的最重要的因素，而不是直接跳跃到多因素模型。只有找到第一个因素后，才会去寻找第二重要的因素添加至模型，然后再找下一个。因此，在过度拟合有机会出现之前，它们的模型可以让过程在短时间内停止，阻止过程变得过于复杂刻意。计算预测的一个相关方法在一次只考虑一个数据点，模型在添加更多的数据点之前会调整到新的点。同样在那种情况下，模型的复杂性逐渐增加，所以将过程停止并变短有助于防止过度拟合。
1700496320
1700496321
这种设置（更多的时间就意味着更复杂）成为很多人类行为的特征。给自己更多时间去决定某件事并不一定意味着你就会做出更好的决定。但它的确会保证你最终会考虑更多的因素、更多的假设、更多的利弊，从而对风险过度拟合。
1700496322
1700496323
汤姆成为教授的经历正是这样的过程。他在上第一学期的第一堂课前，花了大量的时间完善他的讲座——1小时的课他准备了超过10小时。第二学期，他教了另一个班级，他无法再投入那么多的时间，然后就开始担心他的课将会变糟。但是奇怪的事情发生了：学生们更喜欢上第二学期的课。事实上，相比第一学期的课，他们更喜欢第二学期的课。结果汤姆发现，那些额外的时间都花在了令人困惑的细节上，而这些细节只会让学生们感到困惑，汤姆再次上课的时候，就把这些内容从课堂上去除了。汤姆最终意识到，这个问题在于，他一直把自己的品味和判断当作自己学生的衡量标准（该代理指标作为一个近似值效果相当不错，但它不值得过度拟合），这解释了为什么额外花时间精心“完善”的所有幻灯片都适得其反。
1700496324
1700496325
在各种机器学习任务中，正则化的有效性表明，我们可以通过有意识地思考和少做一些事情来做出更好的决定。如果我们最先想到的因素可能是最重要的因素，那么如果思考的量超过某一个度的话，就不仅是浪费时间和努力，它将会让我们找到更糟糕的解决方案。早期停止为理性的论证而不是一味地推理提供了基础。但是把它变成实用的建议还需要回答一个问题：我们什么时候应该停止思考？
1700496326
1700496327
1700496328
1700496329
1700496331
算法之美：指导工作与生活的算法 何时应该想得更少？
1700496332
1700496333
就像所有涉及过度拟合的问题一样，如何尽早停止取决于你能衡量的标准和真正重要的因素之间的差距。如果你了解了所有的事实，它们就不会有任何错误和不确定性，你可以直接评估什么对你来说是重要的，然后不要过早的停止。思考的时间长而努力：模型的复杂性和付出的努力都是值得的。
1700496334
1700496335
但事实并非如此。如果你有很高的不确定性和有限的数据，那么务必提前停止。如果你不清楚你的工作将如何被评估，以及由谁来评估，那么你就不值得花额外的时间来对你自己（或者其他人）的特质做出所谓完美的判断。不确定性越大，你所能衡量的东西和真正重要的东西之间的差距就越大，你就越应该注意过度拟合的风险，也就是说，你越喜欢简单，就应该越早停下来。
1700496336
1700496337
当你真正处于黑暗中，最好的计划将是最简单的。当我们对预期不确定，而且得到的数据杂乱无章时，最好的办法就是用一支粗的画笔来画画，用宽大的笔触来思考。有时候，照字面意思来处理就行。正如企业家杰森·弗里德和戴维·H.汉森解释的那样，在他们需要头脑风暴的时候，他们就会用越粗的笔（这是一种用来表达简单化的聪明的方式）：
1700496338
1700496339
当我们开始设计某样东西时，我们会用一个大而粗的记号笔勾勒出一些想法，而不是圆珠笔。为什么呢？因为圆珠笔的笔尖太细了。它们的分辨率太高。它们会促使你担心一些你不应该担心的事情，比如完善阴影，或者使用虚线。你最终会专注于那些不应该关注的事情。
1700496340
1700496341
记号笔不会局限住我们。你只能画出形状、线条和盒子。这很好。你最开始应该担心的是大局。
1700496342
1700496343
正如麦吉尔大学的亨利·明茨伯格所说：“如果我们从一个无法衡量什么是最重要的前提出发，又会发生什么？”我们必须用一些非常可怕的东西来代替衡量，那就是判断。
1700496344
1700496345
前期停止的结果是，有时这不是一个在理性和我们的第一直觉之间做出选择的问题。我们的第一反应可以是理性的解决方案。决策越复杂、越不稳定、越不确定，就越要理性。
1700496346
1700496347
再回到达尔文的例子，是否求婚的问题可能已经基于最初他所确认的几个利弊点得到了解决，后续增加的利弊点则会增加考虑时间和焦虑，但并没有帮助他做决定（并且很可能阻碍它）。他脑子里似乎有个想法，那就是：“如果一个人的一生像一只蜜蜂一样工作，工作，其他什么都不做，这是无法忍受的。”孩子和陪伴（他所提到的首要优点）正是那些最终使他选择结婚的原因。他对书的预算是干扰项。
1700496348
1700496349
然而，在我们对达尔文提出批评，把他描绘成一个根深蒂固的过度思考者之前，我们应该再到他的日记中看一看。在他日记的复本中可以看到一些有趣的东西。达尔文不是富兰克林，他在数天内添加了各种各样的考虑因素。尽管他对这一改变命运的选择很认真，但达尔文在他的笔记写到日记本底部的时候，还是下定了决心。他正在对那一页进行正则化。这让人想起了早期停止和套索算法：任何没有出现在页面上的东西都不能帮助他做出决定。
1700496350
1700496351
当达尔文下定决心要结婚时，他立即开始思考时间的问题。“什么时候结婚？马上还是再等等？他在另一份关于利弊的清单上列出了他的愿望：从幸福的考虑到某些“奇怪”的开支，再到他长期以来想乘坐热气球和去威尔士旅行。但在这一页的最后，他下定决心“不要在意，相信运气”。结果，在几个月的时间里，他向艾玛·韦奇伍德求婚，这是一段美好的关系和幸福家庭生活的开始。
1700496352
1700496353
1700496354
1700496355
[
上一页 ]
[ :1.700496306e+09 ]
[
下一页 ]