BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Facebook基于十亿单词量构建了一个高效的神经网络模型

| 作者 Alex Giamas 关注 8 他的粉丝 ,译者 Alina 关注 0 他的粉丝 发布于 2016年12月22日. 估计阅读时间: 3 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

使用神经网络进行序列预测是众所周知的计算机科学问题,在语音识别、机器翻译、语言建模和其他领域中都有着广泛的应用。这种预测使用的模型对计算能力要求很高,这限制了它们的实际应用。

Facebook AI Research的科学家设计自适应的softmax算法,这是一种为GPU定制的近似算法,可在庞大的单词量基础上高效地训练神经网络。如公开发表的论文中所描述的,自适应softmax利用单词在大语料库中的不均衡分布,形成可以最小化计算复杂度的群集。完全softmax与词汇库大小线性相关,而自适应softmax是次线性相关的,并且针对GPU进行了优化。

在开发softmax的同时,Facebook研究人员发布了开源库torch-rnnlib,帮助研究人员设计和测试GPU中的递归模型。有了torch.cudnn,可以使用NVIDIA CUDA Deep Neural Network库轻松访问基线。RNNLSTMGRU和其他递归神经网络都有具体的实现,研究人员可以很容易地把它们用于递归神经网络的设计。

Facebook研究人员在单个GPU上对该算法进行测试,速度达到了每秒12500个单词,同时保持精确度接近完全softmax。从基准困惑度来看,谷歌公司的Jozefowicz等人在2016年使用32个GPU训练了3个星期得到30的困惑度(越低越好),同时使用18个GPU训练了几天得到44的困惑度。Google使用Tensorflow实现的LSTM模型发布在Github上,它的主要作者在Reddit的相关话题中提出了一个有趣的方法来解释困惑度。相反地,自适应softmax可以在大约14小时内达到50的困惑度,在一两天内达到43.9的困惑度以及在六天内达到39.8的困惑度。如果没有CuDNN库,性能下降约30%。所有工具和技术都针对EuroParl十亿字语料库进行过测试,这些语料库是当前可获得的最大的几个语料库。

查看英文原文Facebook Builds an Efficient Neural Network Model over a Billion Words


感谢薛命灯对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

深度内容

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT