BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Caffe2go:Facebook最新的深度学习框架

| 作者 谢丽 关注 9 他的粉丝 发布于 2016年11月16日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

视频在人们的沟通交流中扮演着日益重要的角色。为此,Facebook一直希望提供一种先进的创意工具丰富人们的自我表达手段。近日,Facebook宣布,他们正在测试(目前只在部分国家的移动设备上)Facebook应用新增的一个创意效果相机。借助一项名为“风格转换”的技术,该功能可以帮助人们快速地将视频变成艺术品,比如,将梵高的油画风格运用到其他的图像或视频上。在此之前,这很难完成,因为需要将视频或图像的内容发送到数据中心的大型计算服务器上进行处理。而现在,Facebook开发了一个可以在移动平台上实时获取、分析、处理像素的深度学习框架Caffe2Go。

据介绍,为了可以在iOS和Android设备上高效地运行各种深度神经网络,Facebook将用于图像和视频处理的AI模型压缩了100倍。最终,他们可以在某些手机上用不到二十分之一秒的时间完成AI推断,而人一眨眼的时间是三分之一秒。

Facebook的风格转换工具融合了两种技术:Caffe2go运行时和风格转换模型。Caffe2go是一个以开源项目Caffe2为基础、使用Unix理念构建的轻量级、模块化框架。其核心架构非常轻量化,而且可以附加多个模块。考虑到速度是计算密集型移动应用的核心,该框架的轻量化设计让他们可以针对特定平台上定义的操作符进行优化。例如,Caffe2将一个名为NNPack的程序库集成进了移动运行时。借助一项名为NEON的移动CPU特性,他们提升了移动计算速度。在iOS设备上,他们也着手集成加速特性,如Metal语言。Caffe2go提升了AI处理速度,让它可以在移动终端上运行。但要实现实时性,并提供高质量、高分辨率的图像,风格转换模型也需要进行优化。 他们采用了多种方法来减少模型大小,包括优化卷积层数量和每一层的宽度,调整处理过程中的空间分辨率等。另外,他们还构建了包括A/B测试在内的可视化工具,并训练了不同的模型。

Facebook承诺,他们会和社区分享这款软件及其设计,并在接下来的几个月里开源这个AI框架的某些部分。

另据VB报道,谷歌去年也在谷歌翻译中做了一些类似的事情,他们还于近日展示了自己的神经网络风格转换技术。Facebook和谷歌在这个领域的工作要晚于移动应用Prisma,后者允许用户为照片和视频添加样式。

此外,Caffe2go是Facebook的第二个AI平台,第一个是已有的开源深度学习框架Torch。但是现在,Facebook将Caffe2go推上了战略地位,因为“它的大小、速度和灵活性”。


感谢徐川对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT