1700537467

1700537468 后来，拉普拉斯在误差分析试验中使用了正态分布。勒让德（Adrien-Marie Legendre）于1805年引入最小二乘法这一重要方法，而高斯（Johann Carl Friedrich Gauss）则宣称他早在1794年就使用了该方法，并通过假设误差服从正态分布给出了严格的证明。高斯的介入首先要从天文学界的一个事件说起。1801年1月，天文学家朱塞普·皮亚齐（Giuseppe Piazzi）发现了一颗从未见过的光度8等的星在移动，这颗现在被称作谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后就在太阳的光芒下没了踪影，无法观测。留下的观测数据有限，天文学家难以计算出它的轨道，因此也无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点。高斯当时已经是很有名望的年轻数学家了，这个问题也引起了他的兴趣。他以卓越的数学才能创立了一套全新的行星轨道计算方法，很快就计算出了谷神星的轨道，并预言了它在夜空中出现的时间和位置。1801年12月31日夜，德国天文爱好者奥伯斯（Heinrich Olbers）在高斯预言的时间里，用望远镜对准了这片天空。果然不出所料，谷神星出现了！高斯为此名声大震，但是他当时拒绝透露计算轨道的方法。原因可能是，高斯认为自己的方法的理论基础还不够成熟，而他一向治学严谨、精益求精，不轻易发表没有思考成熟的理论。直到1809年，高斯系统地完善了相关的数学理论后，才将他的方法公布于众，而其中使用的数据分析方法，就是以正态误差分布为基础的最小二乘法。勒让德和高斯关于最小二乘法的发明权之争，成了数学史上仅次于牛顿、莱布尼茨微积分发明权的争端。

1700537469

1700537470 在整个正态分布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献：拉普拉斯从中心极限定理的角度解释它，高斯把它应用在误差分析中，殊途同归。正态分布被发现有这么好的性质，各国人民都争抢它的冠名权。因为拉普拉斯是法国人，所以当时在法国被称为拉普拉斯分布；而高斯是德国人，所以在德国叫作高斯分布；第三中立国的人民称它为拉普拉斯-高斯分布。后来法国大数学家庞加莱（Jules Henri Poincaré）建议改用正态分布这一中立名称，随后统计学家卡尔·皮尔森（Karl Pearson）使得这个名称被广泛接受（但是正态分布这个名字似乎会给人一种谬误，即其他很多概率分布都是不正态的）。不过因为高斯在数学界的名气实在是太大，正态分布的桂冠还是更多地被戴在了高斯头上，目前数学界是正态分布和高斯分布两者并用。有趣的是，“高斯分布”也正好是“Stigler名字由来法则”的一个例证，这个法则说的是“没有科学发现是以它最初的发现者命名的”。

1700537471

1700537472

1700537473

1700537474

1700537475 百面机器学习：算法工程师带你去面试 [:1700532216]

1700537476 百面机器学习：算法工程师带你去面试 05　马尔可夫蒙特卡洛采样法

1700537477

1700537478

1700537479

1700537480 场景描述

1700537481

1700537482 前面小节中提到，在高维空间中，拒绝采样和重要性重采样经常难以寻找合适的参考分布，采样效率低下（样本的接受概率小或重要性权重低），此时可以考虑马尔可夫蒙特卡洛（Markov Chain Monte Carlo，MCMC）采样法。MCMC采样法是机器学习中非常重要的一类采样算法，起源于物理学领域，到20世纪80年代后期才在统计学领域产生重要影响。它可以用于很多比较复杂的分布的采样，并且在高维空间中也能使用。

1700537483

1700537484 知识点

1700537485

1700537486 蒙特卡洛法，马尔可夫链，吉布斯采样，Metropolis-Hastings采样

1700537487

1700537488 问题1　简述MCMC采样法的主要思想。

1700537489

1700537490 难度：★☆☆☆☆

1700537491

1700537492 分析与解答

1700537493

1700537494 从名字看，MCMC采样法主要包括两个MC，即蒙特卡洛法（Monte Carlo）和马尔可夫链（Markov Chain）。蒙特卡洛法是指基于采样的数值型近似求解方法，而马尔可夫链则用于进行采样。MCMC采样法基本思想是：针对待采样的目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布；然后，从任何一个初始状态出发，沿着马尔可夫链进行状态转移，最终得到的状态转移序列会收敛到目标分布，由此可以得到目标分布的一系列样本。在实际操作中，核心点是如何构造合适的马尔可夫链，即确定马尔可夫链的状态转移概率，这涉及一些马尔可夫链的相关知识点，如时齐性、细致平衡条件、可遍历性、平稳分布等，感兴趣的读者可以参阅相关资料，这里不再细述。

1700537495

1700537496 问题2　简单介绍几种常见的MCMC采样法。

1700537497

1700537498 难度：★★☆☆☆

1700537499

1700537500 分析与解答

1700537501

1700537502 MCMC采样法的核心点是构造合适的马尔可夫链，不同的马尔可夫链对应着不同的MCMC采样法，常见的有Metropolis-Hastings采样法和吉布斯采样法，如图8.6所示。

1700537503

1700537504

1700537505

1700537506

1700537507 图8.6　MCMC采样示意图

1700537508

1700537509 ■ Metropolis-Hastings采样法

[ 上一页 ]  [ :1.70053746e+09 ]  [ 下一页 ]