AI科技评论按:
很多读者在思考,“我和AI科技评论的距离在哪里?”答案就是:一封求职信。
近日,网易有道正式对外公布:由网易公司自主研发的神经网络翻译( Neural Machine Translation)技术正式上线,网易内部人士称,该项目受到了丁磊的亲自过问。
有道2008年诞生,诞生伊始的核心业务是搜索。在2013年剥离搜索业务之后,有道仅翻译业务(包括有道词典、有道翻译官等)就获得了7亿用户,体量庞大。
就此,AI科技评论独家专访了有道首席科学家段亦涛,聊了聊有道在机器翻译领域的研究和探索。
有道是国内第一批提供机器翻译服务的互联网公司,从2008年正式推出到现在,已近十年。十年时间里,有道一直聚焦于中文与其他外语之间的翻译,通过不断提升机器翻译的质量,吸引了大量用户,积累了海量的语料和数据。
即便如此,机器翻译的质量还是差强人意。随着人工智能技术的发展,深度学习逐渐应用在机器翻译领域,神经网络翻译模型开始得以运用,而有道也借此将其机器翻译能力提到了一个新的高度。用段亦涛的话来说就是:
神经网络翻译是人工智能及深度学习在机器翻译领域的具体应用,是目前最前沿的机器翻译技术,它带来的翻译质量提升是过去十年的总和。
通过机器来实现翻译一直是人类一个梦想,在计算机诞生之前,人类就设想过用自动化的方法将一种语言的文字翻译成另外一种语言。计算机诞生之后,人类开始希望做出一个能够实现自动翻译的程序。早期的尝试都不太成功,统计翻译模型的出现,给机器翻译领域带来了第一次飞跃。
统计翻译模型不依赖于人为设定的规则,而是从大量的平行语料里总结语言规律,从而得到翻译的结果。但它的问题也很多,最大的问题在于统计翻译模型是一个由很多组件组成的模型,比如分词、短语、对齐,调序等组件,这些组件独立存在,各司其职,每个组件完成自己的意向任务,最后“拼凑”起来,产生一个“还看得过去”的翻译结果,远远谈不上“满意”。但两年前,无论是我们熟知的谷歌翻译、百度翻译,还是其他翻译类产品,用的基本都是统计翻译模型。
当神经网络模型用于机器翻译之后,这一切有了改观。神经网络翻译能够对整个句子进行编码,更充分地利用上下文信息,判定多义词的词义,生成更自然的译文。最直观的一点,是神经网络翻译的译文句子结构完整,语序更符合人类语言使用习惯,翻译结果通顺。
神经网络翻译原理
如此评价,除了实际使用中用户的感知,还有一个更为理性的标准,由IBM在2002年建立,被称为BLEU(Bilingual Evaluation understudy)值。据维基百科介绍,BLEU是一种评价机器翻译文本质量的算法,该算法的核心价值观认为:机器翻译越接近专业翻译,质量越高。
BLEU的具体方法是将候选译文和参考答案做对比,把单个翻译片段(一般是句子)与一组良好的质量参考译文进行比较,判断词语、语序的重合部分,重合越多,得分越高,之后通过整个语料库平均得出翻译的总体质量的估计。
在机器翻译领域,神经网络翻译模型逐渐取代了统计翻译模型,其中一个重要原因就是,前者的BLEU值大幅度提升。
除了纵向对比,横向和其他同行比较的话,BLEU值也是一个重要参考标准。按照有道官方给出的数据显示,在英语学习场景中,有道神经网络翻译的英译中和中译英的BLEU值领先了同行7个百分点;而在新闻文章翻译场景中,其英译中BLEU值超同行6个百分点,而中译英超过了8个百分点。
神经网络翻译中译英对比
之所以能比同行高出6-8个百分点,段亦涛认为优势在于两个方面:
“效果不错”,但段亦涛也承认,“在缺乏完备的理论基础的情况下,实践中需要非常依赖经验和摸索。效果是最硬的指标,理论再完美,不起效果对我们来说就没有意义”。
在行业里曾经有人做过一个类比,“深度学习(包括神经网络模型)就像炼丹,把各种素材放在一起,然后掌握火候,在不断试炼中才能达到最好效果”,或许这也反映了,在行业缺乏完备的理论基础的情况下,现实的困难是——大家都只能摸索,这就存在非常大的不确定性。但对目前有道做出来的效果,段亦涛还是满意的。