打字猴:1.70053685e+09
1700536850 但凡学过高等数学的人,对梯度算子∇都不陌生,但是这个符号应该如何来读呢?∇符号是1837年爱尔兰物理学家和数学家哈密尔顿(W.R. Hamilton,建立哈密尔顿力学和提出四元数的大牛)首次提出的,但是并没有说明∇符号的读音。
1700536851
1700536852 于是,到了1884年,当物理学家威廉·汤姆森(William Thomson,热力学之父)想研究一下梯度时,苦于不知其读音。当时,汤姆森教授正在美国的约翰·霍普金斯大学(Johns Hopkins University,JHU)开一个系列讲座,于是他就写信问亚历山大·格拉汉姆·贝尔(Alexander Graham Bell,电话之父)。
1700536853
1700536854 贝尔回信说,早些年,他的学长詹姆斯·克拉克·麦克斯韦(James Clerk Maxwell,缔造电磁学的大牛,这里的“学长”一词是指贝尔和麦克斯韦都曾在爱丁堡大学受教育)曾经告诉贝尔,他为∇发明了一个十分有趣的发音,叫作“纳布拉”(Nabla)。Nabla原指一种希伯来竖琴,外形酷似倒三角。具体事情经过如下:
1700536855
1700536856 1870年,麦克斯韦的儿时好友,物理学家彼得·台特(Peter Guthrie Tait,将四元数发挥到化境的大牛)正在研究哈密尔顿的四元数,其中有很多∇符号。于是麦克斯韦写信给台特建议说,“亲爱的台特,如果腓尼基的王子卡德摩斯向腓尼基的教授们问这个符号的读法,那么他们肯定会说这个符号读作纳布拉。”1871年,麦克斯韦写信问台特,“你还在弹那个纳布拉琴吗?”麦克斯韦还写了一首歪诗献给台特,诗的题目是《至纳布拉琴圣手》(To the Chief Musician upon Nabla)。
1700536857
1700536858
1700536859
1700536860
1700536861 百面机器学习:算法工程师带你去面试 [:1700532209]
1700536862 百面机器学习:算法工程师带你去面试 06 随机梯度下降法的加速
1700536863
1700536864
1700536865
1700536866 场景描述
1700536867
1700536868 提到深度学习中的优化方法,人们通常会想到随机梯度下降法。但是,随机梯度下降法并不是万金油,有时候反而会成为一个坑。当你设计出一个深度神经网络时,如果只知道用随机梯度下降法来训练模型,那么当你得到一个比较差的训练结果时,你可能会放弃在这个模型上继续投入精力。然而,造成训练效果差的真正原因,可能并不是模型的问题,而是随机梯度下降法在优化过程中失效了,这可能会导致你丧失一次新发现的机会。
1700536869
1700536870 知识点
1700536871
1700536872 梯度下降法,随机梯度下降法
1700536873
1700536874 问题1 随机梯度下降法失效的原因 —— 摸着石头下山。
1700536875
1700536876 难度:★★☆☆☆
1700536877
1700536878 深度学习中最常用的优化方法是随机梯度下降法,但是随机梯度下降法偶尔也会失效,无法给出满意的训练结果,这是为什么?
1700536879
1700536880 分析与解答
1700536881
1700536882 为了回答这个问题,我们先做一个形象的比喻。想象一下,你正在下山,视力很好,能看清自己所处位置的坡度,那么沿着坡向下走,最终你会走到山底。如果你被蒙上双眼,只能凭脚底踩石头的感觉判断当前位置的坡度,精确性就大大下降,有时候你认为的坡,实际上可能并不是坡,走上一段时间发现没有下山,或者曲曲折折走了好多弯路才下山。
1700536883
1700536884 类似地,批量梯度下降法(Batch Gradient Descent,BGD)就好比正常下山,而随机梯度下降法就好比蒙着眼睛下山。具体介绍一下两种方法。
1700536885
1700536886
1700536887 批量梯度下降法在全部训练集上计算准确的梯度,即
1700536888
1700536889
1700536890
1700536891
1700536892 (7.46)
1700536893
1700536894 其中f (θ;xi,yi)表示在每个样本(xi,yi)的损失函数,φ(θ)为正则项。
1700536895
1700536896 随机梯度下降法则采样单个样本来估计的当前梯度,即
1700536897
1700536898
1700536899
[ 上一页 ]  [ :1.70053685e+09 ]  [ 下一页 ]