BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Facebook转向神经网络机器翻译(NMT)

| 作者 Alex Giamas 关注 8 他的粉丝 ,译者 Rays 关注 3 他的粉丝 发布于 2017年8月22日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Facebook近期宣布面向全球推出NMT(神经网络机器翻译,Neural Machine Translation)。从基于短语的翻译模型转向NMT,使得Facebook可以支持超过两千种的语言互译,并达到了每天45亿次的翻译量。据Facebook介绍,NMT使得BLUE分值增加了11%。BLEU是一种广为使用的翻译评分机制。

撰写该博文的工程师Juan Miguel Pino、Alexander Sidorov和Necip Fazil Ayan使用Caffe2实现了2.5倍的性能提升。Caffe2是Facebook于今年早期开源的一个机器学习框架。

NMT实现如此质量翻译的关键,在于它使用的RNN(Recurrent Neural Network)是一种具有注意机制(Attention)的Seq2Seq(Sequence-to-Sequence) LSTM(long short-term memory)。这样的系统充分考虑到了原始语句的上下文以及该语句之前的全部内容,用于生成更为准确的翻译内容。这使得在翻译中可以使用长距离调序规则(Long-distance Reordering),解决了一些存在于英语-土耳其语和英语-希腊语等语言互译中的问题。

LSTM的注意机制(Attention)在处理翻译中未知词汇上非常有用,它将翻译软对齐到由训练数据构建的双语语料库,并使用了削减词汇量(Vocabulary reduction)方法,在避免对翻译质量产生显著影响的情况下,有效地降低了计算时间。

FB Learner Flow框架用于快速并准确地调优每一种语言互译所使用的参数。3.7%的英语-西班牙语互译BLEU分值增加来自于该框架的贡献。

作为项目的一部分,Facebook将RNN贡献到Caffe2项目中,并作了开源。同时,Facebook的FAIR(Facebook’s Artificial Intelligence Research)研究团队已经公开发表了他们在机器翻译中使用CNN(convolutional neural networks)的方法。

Google在2016年就发布了用于Google翻译的NMT,先于Facebook此次发布达多个月。而在一个月前,Google宣布了Multimodel神经网络模型这一突破性进展

查看英文原文: Facebook Transitioning to Neural Machine Translation

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT