1700496267
像套索算法这样的技巧在目前的机器学习时代无处不在，但同一类原则——复杂度惩罚原则同样也出现在自然界中。由于受到时间、记忆、精力和注意力的限制，活的生物体几乎可以自动地朝着简单化方向发展。例如，新陈代谢的负担对生物体的复杂性起到了刹车作用，对过度精细的机体运行引入了热量惩罚机制。一个人的大脑每日消耗的总热量是摄入量的1/5，这证明了进化的优势，我们的智力为我们提供了大脑贡献的、肯定不止消耗量那么多的燃料。另一方面，我们也可以推断，从进化论的角度来说，一个更复杂的大脑可能无法提供足够的报酬。我们的聪明程度符合我们的需要，而不是任意的更高程度。
1700496268
1700496269
同样的过程也被认为在神经水平上发挥作用。在计算机科学中，基于大脑的软件模型被称为“人工神经网络”，它可以学习大脑任意复杂的功能，甚至比我们之前的九因素模型更灵活，但正因为它非常灵活，所以也更容易过度拟合。实际上，生物神经网络在回避这个问题，因为它们需要用它们的表现来换取维持运行的成本。神经科学家建议，大脑应在任何给定的时刻尽量减少神经元的数量，像套索算法那样执行同类的复杂性下行压力。
1700496270
1700496271
然而语言又是另一种自然的套索：复杂性受到更长时间的说话和对听众注意力时限的惩罚。商业计划被压缩到电梯营销，生活忠告只有在足够简洁易懂的情况下才能成为谚语般的智慧之语。需要记住的东西都必须经过固有的记忆套索。
1700496272
1700496273
[1]这相当于数学上的变量系数绝对值之和。
1700496274
1700496275
1700496276
1700496277
1700496279
算法之美：指导工作与生活的算法 启发法
1700496280
1700496281
经济学家哈里·马科维茨凭借拓展了现代投资组合理论而获得1990年的诺贝尔经济学奖。他开创性的“均值-方差投资组合优化”理论告诉投资者如何在不同的资金和资产之间进行最优分配，在同一风险程度下收益达到最大化。所以当轮到马科维茨投资自己的退休储蓄时，他似乎应该是最胜任此项工作的人。他决定怎么做呢？
1700496282
1700496283
我应该计算资产阶级的历史协方差，并得出有效前沿。相反，我想象如果股市大涨，但我却没有入市（或如果它大跌，我却都投资在此）那我一定很悲伤。我的意图是尽量减少我未来的遗憾。所以我在债券和股票上的投资是一半对一半。
1700496284
1700496285
他为什么要这样做呢？诺贝尔奖得主的故事和他的投资策略可以作为人类非理性的一个例子：面对现实生活的复杂性，他放弃了理性的模型，转而遵循一个简单的启发法则。但正是由于现实生活的复杂性，一个简单的启发法实际上可能是理性的解决方案。
1700496286
1700496287
当涉及投资组合管理时，事实证明，除非你对市场信息非常有信心，你便可以忽略这些信息。应用马科维茨最优资产配置方案要求能对不同投资的统计资产做出良好的估计。在这些估计中，一旦犯错误，便可能会导致完全不同的资产分配，就可能增加风险。相比之下，你的钱均匀地分散在股票和债券上，你就不会受到可观察到的所有数据的影响。这种策略甚至不尝试拟合自己的投资类型的历史业绩，因此不会出现过度拟合的状况。
1700496288
1700496289
当然，仅仅使用一半对一半的分配方法并不一定是复杂性的最佳选择，但这里就有一些东西可以谈谈。如果你碰巧知道一组投资的期望均值和期望方差，那么使用均值-方差组合优化的最优算法就是其中一个最佳原因。但当正确估计的可能性很低，同时模型过于重视那些不值得信任的量时，那么警报应该在决策过程中响起：应该进行正则了。
1700496290
1700496291
受到例如马科维茨的退休储蓄的启发，心理学家格尔德·吉仁泽和亨利·布莱顿认为，人们在现实世界中使用的决策捷径在许多情况下，正是这种能做很好的决定的思维。“与广泛持有的处理得越少，准确度就越低的观点不同，”他们写道，“启发式的研究表明，更少的信息、计算和时间，其实是可以提高准确度的。”支持启发式思想的人更喜欢简单的答案，用更少的因素，或更少的计算，这正展现出“少即是多”的效果。
1700496292
1700496293
然而，对模型的终极复杂性进行处罚并不是减轻过度拟合的唯一途径。你还可以通过控制输入数据的适应速度来推动模型走向简单化。这使过度拟合可以照亮我们的历史——无论是作为一个社会，还是作为一个物种。
1700496294
1700496295
1700496296
1700496297
1700496299
算法之美：指导工作与生活的算法 人类进化中的过度拟合
1700496300
1700496301
《疾病与新食物摄入前的关联》
1700496302
1700496303
一只活着的老鼠所吃过的每一样食物，都一定没有杀死它。
1700496304
1700496305
20世纪90年代中期到2013年，美国的豆奶销量翻了两番多。但截至2013年年底，根据新闻报道，它的畅销似乎已经是过去时了，豆奶的销量远落后于杏仁奶的销量。食品和饮料研究员拉里·芬克尔在《彭博商业周刊》上这样说道：“坚果现在很流行，大豆听起来更像是老式的保健食品。”以推广豆浆而闻名的丝滑公司（正如其名字所暗示的），在2013年年末报告说，仅在上个季度，杏仁奶的产品销量就增长了超过50%。同时，其他饮料，例如椰子汁的领先品牌维塔可可，2014年度所报告的销售额就比2011年翻了一番——自2004年以来增加了惊人的300倍。正如《纽约时报》所说：“椰子汁似乎在我们模糊又熟悉的领域，已经从无形发展到不可避免的存在了，中间没有一丝停顿。”同时，在2013年，羽衣甘蓝的销量就增长了40%。2012年羽衣甘蓝最大的采购商是必胜客，他们把它放在沙拉上作为装饰。
1700496306
1700496307
人类生活的一些最基本的领域，比如我们应该把什么吃进我们的身体里，似乎很奇怪地都被那些昙花一现的潮流主宰着。使这些潮流席卷世界的部分原因是我们的文化能迅速做出改变。现在，信息比以往任何时候都更快地渗透到社会中，而全球供应链使消费者能够迅速改变他们的购买习惯（市场营销也鼓励他们这样做）。如果有特别的研究正好表明某些东西对健康有益，例如八角，它便会在一周内充斥整个博客，下一周就开始登上电视节目，并在6个月内出现在几乎每一家超市，接下来就有专门的八角食谱出版。这惊人的速度既是幸事又是一种祸害。
1700496308
1700496309
相反，如果我们观察生物（包括人类）的进化方式，我们会注意到一些有趣的现象：变化发生得很缓慢。这意味着，现代生物的属性不仅受制于它们目前所处的环境，也由它们过去的历史共同塑造而成。例如，人类神经系统奇怪的交叉分配（左侧身体由右侧大脑控制，反之亦然）反映出脊椎动物的进化史。这种现象被称为“交叉”，该理论出现在早期脊椎动物进化过程中（相对于它们的头，身体扭曲180度这个过程中），无脊椎动物如龙虾和蚯蚓的神经索是在“肚子”一侧，而脊椎动物的神经索是沿着脊柱生长的。
1700496310
1700496311
人类的耳朵又提供了另一个例子。从其功能的角度看，它是一种通过震动放大（主要通过三大骨骼系统：锤骨、砧骨、镫骨）将声波转化成电子信号的系统。这个放大系统是很惊人的，但它的具体工作原理有很多是与历史的限制有关的。事实证明，爬行动物的耳朵里只有一根骨头，但哺乳动物的下颌骨缺少其他的骨头。这些下颌骨显然被使用在哺乳动物的耳朵里了。所以我们耳朵解剖学上的确切形式和配置反映出我们的进化史至少和反应出的听觉问题一样多。
1700496312
1700496313
过度拟合的概念给我们提供了一个能在进化的压力下看到其长处的机会。虽然交叉神经纤维和改变用途的颌骨似乎已经是最理想的安排，但至少我们应该认识到，我们并不一定要让进化去完全优化生物，以适应生态环境的每一点改变，这样做会使其对环境的变化极其敏感。另一方面，必须利用现有的材料，施加一种有用的约束。这使得它很难引起生物体结构的急剧变化，更难拟合。作为一个物种，受制于过去，就使我们不能完全地调整以适应目前所知的情况，但这有助于我们在未知的未来保持身体强健。
1700496314
1700496315
一种相似的洞察力可能帮助我们抵制人类社会快速转变的潮流。说到文化，传统对进化起着制约作用。一点点的保守主义，一种偏向历史的偏见，可以使我们对抗起起落落的时尚循环，进行缓冲。当然，这并不意味着我们应该忽略最新的数据。努力跳向乐队花车（寓意赶潮流），但不一定真要跳到它的上面。
1700496316
[
上一页 ]
[ :1.700496267e+09 ]
[
下一页 ]