1700496258
1700496259
我们已经看过一些过度拟合出现的方式，及其检测和测量的方法。但是我们能做些什么来缓解这个问题呢？
1700496260
1700496261
从统计的观点来看，过度拟合是我们对看到的实际数据太过敏感的体现。那么，解决方案也是直截了当的：我们必须平衡我们的愿望，找到我们应该使用的对抗复杂性的模型进行分析。
1700496262
1700496263
在几个相互竞争的模型中选择一种方法就是奥卡姆的剃刀原理，它表明，所有的事情都是平等的，最简单的假设可能就是最正确的那个。当然，事情很少是完全平等的，所以在数学背景下，如何应用像奥卡姆剃刀这样的原理并不是清楚明了的。面对这一挑战，在20世纪60年代，苏联数学家安德烈·季霍诺夫给出了一种答案：引入一个额外项来计算惩罚更复杂的解决方案。如果我们引入复杂性惩罚，那么更复杂的模型需要做的不仅是做得更好，更重要的是解释数据以证明其更大复杂性的合理性。计算机科学家将这个原则——使用约束来惩罚模型的复杂性，称为正则化。
1700496264
1700496265
那么这些复杂性惩罚是什么样的呢？在1996年，由生物统计学家罗伯特·蒂什拉尼发现的一种算法，被称为套索算法，这被用作对模型中各因素总和的惩罚。[1]通过将这种下行压力放到因素的总权重上，套索算法将驱使它们降为零。只有对结果有很大影响的因素才能保留在方程中，因此有可能将一个过度拟合的九因素模型转化为一个简单的、更强大的、只有最关键因素的公式。
1700496266
1700496267
像套索算法这样的技巧在目前的机器学习时代无处不在，但同一类原则——复杂度惩罚原则同样也出现在自然界中。由于受到时间、记忆、精力和注意力的限制，活的生物体几乎可以自动地朝着简单化方向发展。例如，新陈代谢的负担对生物体的复杂性起到了刹车作用，对过度精细的机体运行引入了热量惩罚机制。一个人的大脑每日消耗的总热量是摄入量的1/5，这证明了进化的优势，我们的智力为我们提供了大脑贡献的、肯定不止消耗量那么多的燃料。另一方面，我们也可以推断，从进化论的角度来说，一个更复杂的大脑可能无法提供足够的报酬。我们的聪明程度符合我们的需要，而不是任意的更高程度。
1700496268
1700496269
同样的过程也被认为在神经水平上发挥作用。在计算机科学中，基于大脑的软件模型被称为“人工神经网络”，它可以学习大脑任意复杂的功能，甚至比我们之前的九因素模型更灵活，但正因为它非常灵活，所以也更容易过度拟合。实际上，生物神经网络在回避这个问题，因为它们需要用它们的表现来换取维持运行的成本。神经科学家建议，大脑应在任何给定的时刻尽量减少神经元的数量，像套索算法那样执行同类的复杂性下行压力。
1700496270
1700496271
然而语言又是另一种自然的套索：复杂性受到更长时间的说话和对听众注意力时限的惩罚。商业计划被压缩到电梯营销，生活忠告只有在足够简洁易懂的情况下才能成为谚语般的智慧之语。需要记住的东西都必须经过固有的记忆套索。
1700496272
1700496273
[1]这相当于数学上的变量系数绝对值之和。
1700496274
1700496275
1700496276
1700496277
1700496279
算法之美：指导工作与生活的算法 启发法
1700496280
1700496281
经济学家哈里·马科维茨凭借拓展了现代投资组合理论而获得1990年的诺贝尔经济学奖。他开创性的“均值-方差投资组合优化”理论告诉投资者如何在不同的资金和资产之间进行最优分配，在同一风险程度下收益达到最大化。所以当轮到马科维茨投资自己的退休储蓄时，他似乎应该是最胜任此项工作的人。他决定怎么做呢？
1700496282
1700496283
我应该计算资产阶级的历史协方差，并得出有效前沿。相反，我想象如果股市大涨，但我却没有入市（或如果它大跌，我却都投资在此）那我一定很悲伤。我的意图是尽量减少我未来的遗憾。所以我在债券和股票上的投资是一半对一半。
1700496284
1700496285
他为什么要这样做呢？诺贝尔奖得主的故事和他的投资策略可以作为人类非理性的一个例子：面对现实生活的复杂性，他放弃了理性的模型，转而遵循一个简单的启发法则。但正是由于现实生活的复杂性，一个简单的启发法实际上可能是理性的解决方案。
1700496286
1700496287
当涉及投资组合管理时，事实证明，除非你对市场信息非常有信心，你便可以忽略这些信息。应用马科维茨最优资产配置方案要求能对不同投资的统计资产做出良好的估计。在这些估计中，一旦犯错误，便可能会导致完全不同的资产分配，就可能增加风险。相比之下，你的钱均匀地分散在股票和债券上，你就不会受到可观察到的所有数据的影响。这种策略甚至不尝试拟合自己的投资类型的历史业绩，因此不会出现过度拟合的状况。
1700496288
1700496289
当然，仅仅使用一半对一半的分配方法并不一定是复杂性的最佳选择，但这里就有一些东西可以谈谈。如果你碰巧知道一组投资的期望均值和期望方差，那么使用均值-方差组合优化的最优算法就是其中一个最佳原因。但当正确估计的可能性很低，同时模型过于重视那些不值得信任的量时，那么警报应该在决策过程中响起：应该进行正则了。
1700496290
1700496291
受到例如马科维茨的退休储蓄的启发，心理学家格尔德·吉仁泽和亨利·布莱顿认为，人们在现实世界中使用的决策捷径在许多情况下，正是这种能做很好的决定的思维。“与广泛持有的处理得越少，准确度就越低的观点不同，”他们写道，“启发式的研究表明，更少的信息、计算和时间，其实是可以提高准确度的。”支持启发式思想的人更喜欢简单的答案，用更少的因素，或更少的计算，这正展现出“少即是多”的效果。
1700496292
1700496293
然而，对模型的终极复杂性进行处罚并不是减轻过度拟合的唯一途径。你还可以通过控制输入数据的适应速度来推动模型走向简单化。这使过度拟合可以照亮我们的历史——无论是作为一个社会，还是作为一个物种。
1700496294
1700496295
1700496296
1700496297
1700496299
算法之美：指导工作与生活的算法 人类进化中的过度拟合
1700496300
1700496301
《疾病与新食物摄入前的关联》
1700496302
1700496303
一只活着的老鼠所吃过的每一样食物，都一定没有杀死它。
1700496304
1700496305
20世纪90年代中期到2013年，美国的豆奶销量翻了两番多。但截至2013年年底，根据新闻报道，它的畅销似乎已经是过去时了，豆奶的销量远落后于杏仁奶的销量。食品和饮料研究员拉里·芬克尔在《彭博商业周刊》上这样说道：“坚果现在很流行，大豆听起来更像是老式的保健食品。”以推广豆浆而闻名的丝滑公司（正如其名字所暗示的），在2013年年末报告说，仅在上个季度，杏仁奶的产品销量就增长了超过50%。同时，其他饮料，例如椰子汁的领先品牌维塔可可，2014年度所报告的销售额就比2011年翻了一番——自2004年以来增加了惊人的300倍。正如《纽约时报》所说：“椰子汁似乎在我们模糊又熟悉的领域，已经从无形发展到不可避免的存在了，中间没有一丝停顿。”同时，在2013年，羽衣甘蓝的销量就增长了40%。2012年羽衣甘蓝最大的采购商是必胜客，他们把它放在沙拉上作为装饰。
1700496306
1700496307
人类生活的一些最基本的领域，比如我们应该把什么吃进我们的身体里，似乎很奇怪地都被那些昙花一现的潮流主宰着。使这些潮流席卷世界的部分原因是我们的文化能迅速做出改变。现在，信息比以往任何时候都更快地渗透到社会中，而全球供应链使消费者能够迅速改变他们的购买习惯（市场营销也鼓励他们这样做）。如果有特别的研究正好表明某些东西对健康有益，例如八角，它便会在一周内充斥整个博客，下一周就开始登上电视节目，并在6个月内出现在几乎每一家超市，接下来就有专门的八角食谱出版。这惊人的速度既是幸事又是一种祸害。
[
上一页 ]
[ :1.700496258e+09 ]
[
下一页 ]