打字猴:1.700538661e+09
1700538661
1700538662  
1700538663
1700538664 Geoffrey Hinton的传奇人生
1700538665
1700538666 深度学习泰斗 Geoffrey Hinton 的名字在当今的人工智能研究界可谓是如雷贯耳,他曾发明了玻尔兹曼机,也首先将反向传播应用于多层神经网络。不仅如此,他还有 Yann LeCun 和 Ilya Sutskever 等大牛级的学生。
1700538667
1700538668 Hinton 教授出生于英国的温布尔登。他的母亲是一位数学老师,父亲是一个专注甲壳虫研究的昆虫学家。“国民生产总值”这个术语,是他的舅舅、经济学家Colin Clark发明的。他的高曾祖父是 19 世纪的逻辑学家 George Boole —— 现代计算科学的基础布尔代数的发明人。后来,他们家搬到了布里斯托,Hinton进入了克里夫顿学院,这所学校在他口中是个“二流公立学校”。正是在这里,他结识的一个朋友给他讲了全息图,讲了人脑如何存储记忆,为他打开了AI的神奇大门。
1700538669
1700538670 高中毕业后,Hinton去剑桥大学学习物理学和化学,但只读了 1 个月就退学了。一年后,他又重新申请剑桥大学并转学建筑,结果又退学了,这次他只坚持了 1 天。然后转向物理学和生理学,但是后来发现物理学中的数学太难了,因此转学哲学,花 1 年修完了 2 年的课程。Hinton 说:“这一年大有裨益,因为我对哲学产生了强烈的抗体,我想要理解人类意识的工作原理。”为此,他转向了心理学,仅仅为了确定“心理学家对人类意识也不明所以”。在 1973 年前往爱丁堡大学研究生院学习人工智能之前,他做了 1 年的木匠。他在爱丁堡大学的导师是 Christopher Longuet-Higgins,其学生包括多伦多大学化学家、诺贝尔奖得主 John Polanyi 和理论物理学家 Peter Higgs。
1700538671
1700538672 即使当时 Hinton 已经确信不被看好的神经网络才是正确之路,但他的导师却在那时刚改为支持人工智能传统论点。Hinton 说:“我的研究生生涯充满了暴风骤雨,每周我和导师都会有一次争吵。我一直在做着交易,我会说,好吧,让我再做 6 个月时间的神经网络,我会证明其有效性的。当 6 个月结束了,我又说,我几乎要成功了,再给我 6 个月。自此之后我一直说,再给我 5 年时间,而其他人也一直说,你做这个都 5 年了,它永远不会有效的。但终于,神经网络奏效了。”他否认自己曾怀疑过神经网络未来某天会证明自己的优越性:“我从没怀疑过,因为大脑必然是以某种方式工作的,但绝对不是以某种规则编程的方式工作的。”
1700538673
1700538674 数年来,Hinton 的工作不仅相对来说令人费解,而且在一场长达 10 年的计算机科学学术之争中处于失利的一方。Hinton 说,他的神经网被获得了更多资助的人工智能传统论(需要人工编程)者认为是“没有头脑的废话(weak-minded nonsense)”,学术期刊过去常常拒收有关神经网络的论文。
1700538675
1700538676 但是在过去的 5 年左右的时间里,Hinton 的学生取得了一系列的惊人突破,神经网络变得十分流行,Hinton 也被尊称为计算新时代的宗师(guru of a new era of computing)。神经网络已经在手机中为绝大多数语音识别软件提供支持,其还能识别不同种类的狗的图片,精确度几乎可以和人类媲美。
1700538677
1700538678 “我认为对他太多赞美都不为过。”Irvine 这么评价 Hinton 教授,“因为他经历过人工智能的黑暗时代,那时候他看起来就像是一位疯狂科学家,人们从没想过这真的会成功……现在,这些已经被谈论了二三十年的事情终于发生了,我觉得这对他来说是一个很好的奖励……现在这已经掀起了全世界的狂潮,而他就是教父。这绝对不是一夜之间就能取得的成功。”
1700538679
1700538680
1700538681
1700538682
1700538683 百面机器学习:算法工程师带你去面试 [:1700532226]
1700538684 百面机器学习:算法工程师带你去面试 第10章 循环神经网络
1700538685
1700538686 作为生物体,我们的视觉和听觉不断地获得带有序列的声音和图像信号,并交由大脑理解;同时我们在说话、写作、驾驶等过程中不断地输出序列的声音、文字、操作等信号。在互联网公司日常要处理的数据中,也有很多是以序列形式存在的,例如文本、语音、视频、点击流等等。因此,如何更好地对序列数据进行建模,一向是人工智能领域的研究的要点。
1700538687
1700538688 循环神经网络(Recurrent Neural Network,RNN)是用来建模序列化数据的一种主流深度学习模型。我们知道,传统的前馈神经网络一般的输入都是一个定长的向量,无法处理变长的序列信息,即使通过一些方法把序列处理成定长的向量,模型也很难捕捉序列中的长距离依赖关系。RNN则通过将神经元串行起来处理序列化的数据。由于每个神经元能用它的内部变量保存之前输入的序列信息,因此整个序列被浓缩成抽象的表示,并可以据此进行分类或生成新的序列。近年来,得益于计算能力的大幅提升和模型的改进,RNN在很多领域取得了突破性的进展——机器翻译、序列标注、图像描述、推荐系统、智能聊天机器人、自动作词作曲等。
1700538689
1700538690
1700538691
1700538692
1700538693 百面机器学习:算法工程师带你去面试 [:1700532227]
1700538694 百面机器学习:算法工程师带你去面试 01 循环神经网络和卷积神经网络
1700538695
1700538696
1700538697
1700538698 场景描述
1700538699
1700538700 用传统方法进行文本分类任务时,通常将一篇文章所对应的TF-IDF向量作为输入,其中TF-IDF向量的维度是词汇表的大小。使用前馈神经网络,如卷积神经网络对文本数据建模时,一般会如何操作?使用循环神经网络对文本这种带有序列信息的数据进行建模时,相比卷积神经网络又会有什么不同?
1700538701
1700538702 知识点
1700538703
1700538704 循环神经网络,前馈神经网络
1700538705
1700538706 问题 处理文本数据时,循环神经网络与前馈神经网络相比有什么特点?
1700538707
1700538708 难度:★☆☆☆☆
1700538709
1700538710 分析与解答
[ 上一页 ]  [ :1.700538661e+09 ]  [ 下一页 ]