Facebook转向神经网络机器翻译（NMT）

数据科学 机器学习 Facebook

摘要： Facebook近期宣布面向全球推出神经网络机器翻译（NMT）。从基于短语的翻译模型转向NMT，使得Facebook可以支持超过两千种的双向语言互译，并达到了每天45亿次的翻译量。据Facebook介绍，NMT使得BLUE分值增加了11%。BLEU是一种广为使用的翻译评分机制。本文将介绍NMT的实现机制、对机器生成翻译的意义所在以及所面对的竞争情况。

作者： Alex Giamas

正文：

Facebook近期宣布面向全球推出NMT（神经网络机器翻译，Neural Machine Translation）。从基于短语的翻译模型转向NMT，使得Facebook可以支持超过两千种的语言互译，并达到了每天45亿次的翻译量。据Facebook介绍，NMT使得BLUE分值增加了11%。BLEU是一种广为使用的翻译评分机制。

撰写该博文的工程师Juan Miguel Pino、Alexander Sidorov和Necip Fazil Ayan使用Caffe2实现了2.5倍的性能提升。Caffe2是Facebook于今年早期开源的一个机器学习框架。

NMT实现如此质量翻译的关键，在于它使用的RNN（Recurrent Neural Network）是一种具有注意机制（Attention）的Seq2Seq（Sequence-to-Sequence） LSTM（long short-term memory）。这样的系统充分考虑到了原始语句的上下文以及该语句之前的全部内容，用于生成更为准确的翻译内容。这使得在翻译中可以使用长距离调序规则（Long-distance Reordering），解决了一些存在于英语-土耳其语和英语-希腊语等语言互译中的问题。

LSTM的注意机制（Attention）在处理翻译中未知词汇上非常有用，它将翻译软对齐到由训练数据构建的双语语料库，并使用了削减词汇量（Vocabulary reduction）方法，在避免对翻译质量产生显著影响的情况下，有效地降低了计算时间。

FB Learner Flow框架用于快速并准确地调优每一种语言互译所使用的参数。3.7%的英语-西班牙语互译BLEU分值增加来自于该框架的贡献。

作为项目的一部分，Facebook将RNN贡献到Caffe2项目中，并作了开源。同时，Facebook的FAIR（Facebook’s Artificial Intelligence Research）研究团队已经公开发表了他们在机器翻译中使用CNN（convolutional neural networks）的方法。

Google在2016年就发布了用于Google翻译的NMT，先于Facebook此次发布达多个月。而在一个月前，Google宣布了Multimodel神经网络模型这一突破性进展。

查看英文原文： Facebook Transitioning to Neural Machine Translation