1700541400
百面机器学习：算法工程师带你去面试 04 机器翻译
1700541401
1700541402
1700541403
1700541404
■ 机器翻译是什么？
1700541405
1700541406
机器翻译是计算语言学的一个分支，也是人工智能领域的一个重要应用，其最早的相关研究可以追溯到20世纪50年代。
1700541407
1700541408
随着互联网的飞速发展，人们对语言翻译的需求与日俱增。根据维基百科的数据，目前互联网上存在数百种不同的语言，其中英语内容占互联网全部内容的一半左右，而以英语为母语的互联网用户只占全部互联网用户的四分之一。跨域语言屏障，获取互联网上更多的内容是持续增长的需求。
1700541409
1700541410
机器翻译，即通过计算机将一种语言的文本翻译成另一种语言，已成为目前解决语言屏障的重要方法之一。早在2013年，谷歌翻译每天提供翻译服务就达十亿次之多，相当于全球一年的人工翻译量，处理的文字数量相当于一百万册图书。
1700541411
1700541412
■ 机器翻译技术的发展
1700541413
1700541414
机器翻译的研究经历了基于规则的方法、基于统计的方法、基于神经网络的方法三个阶段的发展。在机器翻译研究的早期，主要使用基于规则的方法。机器翻译系统根据语言专家编写的翻译规则进行翻译，这是一个机械式的过程。基于规则的方法受限于人工编写的规则的质量和数量，编写规则非常费时费力，且翻译规则无法用于不同的语言对之间。同时，规则数量增多，互相冲突的规则也随之增多，难以覆盖人类语言的全部情况，这也是机器翻译系统的瓶颈。
1700541415
1700541416
20世纪90年代，基于统计的机器翻译方法被提出，随后迅速成了机器翻译研究的主流方法。统计机器翻译使用双语平行语料库（即同时包含源语言和与其互为译文的目标语言文本的语料库，作为训练数据。世人熟知的罗塞塔石碑（见图14.32）可以认为是古老的平行语料库，石碑上用圣书体、世俗体、古希腊语三种文字记录了相同的内容。正是罗塞塔石碑的发现才使得语言学家们获得了破译圣书体的钥匙。
1700541417
1700541418
1700541419
1700541420
1700541421
图14.32 罗塞塔石碑
1700541422
1700541423
统计机器翻译模型从平行语料中挖掘出不同语言的词语间的对齐关系，基于对齐关系自动抽取翻译规则。一个经典的统计机器翻译模型通常包含翻译模型、调序模型和语言模型三部分。翻译模型负责估算单词、短语间互相翻译的概率，调序模型对翻译后的语言片段排序进行建模，而语言模型则用于计算生成的译文是否符合目标语言的表达习惯。统计翻译模型减少了人工参与，模型本身和训练过程具有语言无关性，大大提升了机器翻译的性能和使用范围。
1700541424
1700541425
近年来随着基于神经网络的方法被引入机器翻译领域，机器翻译的性能得到了大幅提高。根据谷歌机器翻译团队发布的信息，谷歌翻译于 2016 年 9 月上线中英神经网络模型，截至 2017 年 5 月，已经支持 41对双语翻译模块，超过 50% 的翻译流量已经由神经网络模型提供。
1700541426
1700541427
神经网络模型同样需要使用平行语料库作为训练数据，但和统计机器翻译将模型拆解成多个部分不同，神经网络模型通常是一个整体的序列到序列模型。以常见的循环神经网络为例，神经网络模型首先需要将源语言和目标语言的词语转化为向量表达，随后用循环神经网络对翻译过程进行建模，如图14.33所示。通常会先使用一个循环神经网络作为编码器，将输入序列（源语言句子的词序列）编码成为一个向量表示，然后再使用一个循环神经网络作为解码器，从编码器得到的向量表示里解码得到输出序列（目标语言句子的词序列）。
1700541428
1700541429
1700541430
1700541431
1700541432
图14.33 循环神经网络
1700541433
1700541434
神经网络模型近年来已经成为机器翻译领域研究和应用的热点，对于神经网络翻译模型有很多新的改进，例如LSTM、注意力机制、训练目标改进、无平行语料训练等，机器翻译系统的性能正如日方升，一步步接近人类水平。
1700541435
1700541436
■ 机器翻译的应用
1700541437
1700541438
目前来说，机器翻译的效果还难以达到人类翻译的水平，但是随着机器翻译性能的提升，其应用场景也越来越多样化。谷歌2006年推出的谷歌翻译（Google Translate）已经走过十几个年头，目前已经支持上百种不同语言，提供了网页、手机客户端、程序API等多种访问方式。2017年5月的数据显示，谷歌翻译每天为5亿人次提供翻译服务。微软、百度、搜狗、网易等国内外公司也不断优化着自己的机器翻译服务，供大众使用。各种类型的机器翻译服务虽然暂时还无法直接用于书面翻译，但人们理解其他语言的壁垒已经大大降低，在很多场景下机器翻译都起到了很好的辅助作用。
1700541439
1700541440
出国旅游时，语言不通是很多人的一大痛点。各种手机App的拍图翻译使人们可以方便快捷地看懂异国他乡的路标或菜单等，如图14.34所示。百度、网易等公司将机器翻译成果用于旅游领域，推出专门的便携式翻译机（见图14.35），只要对着翻译机说出中文，就能自动帮用户翻译成其他语言，可谓是出国旅游神器。
1700541441
1700541442
1700541443
1700541444
1700541445
图14.34 谷歌翻译的拍图翻译
1700541446
1700541447
1700541448
1700541449