1704437449
1704437450
1704437451
1704437452
图5–5B 适度拟合模型
1704437453
1704437454
这个错误貌似很容易避免，如果我们无所不知，对数据的深层结构总是了如指掌的话，这个错误也确实可以轻松避免。然而，几乎在所有的现实工作中，我们都必须利用归纳法，从已知的证据中对其结构进行推断。当数据有限又充满噪声时，当我们对基本关系的理解很浅显时，就更有可能对一种模型做出过度拟合，在地震预测中，这两种情况可谓司空见惯。
1704437455
1704437456
1704437457
1704437458
1704437459
图5–5C 过度拟合模型
1704437460
1704437461
如果我们既不知道也不在乎数据关系的真相，就有很多理由可以解释我们为什么倾向于过度拟合的模型。其中一条就是，在预测者最常用的统计测试中，过度拟合模型更受青睐。有一项常用的测试是用来测量我们的模型可以解释多少数据的变化。根据这一测试，过度拟合的模型（图5–5C）解释了85%的数据变化，而适度拟合模型只解释了56%的数据变化。但是实质上，过度拟合模型是在混淆视听，将噪声误当作信号混入模型中。事实上，在解释真实世界时，它的表现更糟。
1704437462
1704437463
这种解释似乎让情况一目了然，但很多预测者完全无视这个问题。研究者拥有很多统计方法，可这么多的方法却没有让他们增加一点科学态度，减少一点幻想，而是像充满幻想的孩子在天空中寻找动物形状的云一样。数学家约翰·冯·诺伊曼谈到这个问题时曾说：“我用4个参数就能拟合出一头大象，用5个参数就可以让这头大象甩动它的鼻子。”
1704437464
1704437465
过度拟合代表了双重霉运：过度拟合的模型表面上来看比较好，但其实际性能却很糟糕。因为后一种因素，若被用在真实的预测活动中，过度拟合模型最终会让预测者付出沉重的代价。而因为前一种因素——其表面效果不错，而且自称可以做出非常准确并且新闻价值很高的预测，比其他应用技术都先进，所以，这类模型更吸引人，更容易在学术期刊上得到推介，也更容易被推销给客户，从而将其他可靠的模型排挤出市场。但是，如果这个模型是用噪声拟合的，就很有可能会阻碍科学发展。
1704437466
1704437467
你也许猜到了，克里斯–布鲁克的地震模型就是很严重的过度拟合模型。这一模型将一组超级复杂的方程式应用在噪声数据中，也因此付出了代价——预测正确率只有3/23。戴维·鲍曼意识到他的模型也有类似的问题，便果断终止使用。
1704437468
1704437469
应该说明的是，这些错误通常都是真实的。借用另外一本书的题目《随机漫步的傻瓜》[1]来说就是，这些错误常影响我们，让我们更容易被“随机性愚弄”。我们也可能会越来越迷恋这种模型的特质，甚至可能会创造出一个貌似很有说服力的理论来证明这些错误的合理性，自己却没有意识到这一点，这不仅是愚弄同事、朋友，也是在愚弄自己。迈克尔·贝雅克曾就此写了大量的文章，他对这种进退维谷的情况作了如下解释：“在科学中，我们用怀疑主义平衡好奇心。”过度拟合的例子说明是好奇心左右了我们。
1704437470
1704437471
2011年日本大地震引发的思考
1704437472
1704437473
将噪声误认为信号的倾向，有时会给现实世界带来极可怕的后果。在日本，尽管地震活动极其频繁，但2011年那次灾难性的地震还是让这个国家措手不及。福岛核反应堆是按照可抵御8.6级地震的标准设计的，无法承受震级高达9.1级的地震。考古资料表明，2011年由地震引发的约40米高的海浪在历史上曾经引发过多次海啸，但这次人们明显忘记了或者根本无视这些惨痛的案例。
1704437474
1704437475
9.1级地震在全世界都很少见，没人能确切地预测到这样的地震会发生在哪个10年里，更不用说具体的日期了。而在日本，一些科学家和中央计划员却排除了近期发生地震的可能性。这一点就反映了日本的地震预测模型是过度拟合模型。
1704437476
1704437477
在图5–6A 中，我画出了2011年日本福岛地震震中附近发生地震的历史频率。这些数据中的地震级别逐渐加大，却没有达到3月11日的9.1级。通过看图你会发现，数据几乎遵循着古登堡–里克特法则的那种直线预测模型，然而，在7.5级处出现了一个拐点，而且，该地区自从1964年发生了一场震级达8.0级的地震后，再没有发生过震级更大的地震，于是，这条线似乎开始向下弯曲了。
1704437478
1704437479
1704437480
1704437481
1704437482
图5–6A 日本东北部地区地震发生的频率图（1964年1月1日 ~2011年3月10日）
1704437483
1704437484
究竟该如何连接这些数据点呢？如果严格依据古登堡–里克特法则，就要忽略图像中的拐点，沿直线将数据点连接起来，如图5–6B 所示。若是按地震学家口中的“特性拟合”法（见图5–6C），即描述这一地区地震发生的历史频率，那么，就会把那个拐点当成是真实情况，十分肯定这一地区发生7.6级以上地震的可能性不大。
1704437485
1704437486
1704437487
1704437488
1704437489
图5–6B 古登堡–里克特拟合模型下日本东北部地区地震频率图
1704437490
1704437491
1704437492
1704437493
1704437494
图5–6C 特性拟合模型下日本东北部地区地震频率图
1704437495
1704437496
看似无害的决定，却会导致大相径庭的结果，从日本福岛的例子来看，不同的选择会关系到是否认为这一地区会发生9.1级大地震。特性拟合模型暗示9.1级地震需要约13000年才可能发生一次，这样看来，这一地区几乎就不可能发生这样大级别的地震。另外，古登堡–里克特法则却预测，9.1级地震平均每300年才可以预见一次，确实不常见，但也不是绝无可能，风险还是存在的，而像日本这样富有的国家，是能够为此作好准备的。
1704437497
1704437498
最近，特性拟合模型和日本东北部地区的地震记录拟合得更加紧密了。但是正如我们所知，完全吻合未必就是一件好事，很有可能会变成过度拟合模型，而且，在匹配真实关系时，这种模型会表现得更糟。