BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

TensorFlow on Yarn:深度学习遇上大数据
录制于:

| 作者 李远策 关注 1 他的粉丝 发布于 2017年8月16日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
42:31

概要
TensorFlow 的开源大幅降低了深度学习的门槛并极大推动了深度学习在众多公司的落地。但是,建设深度学习平台更多还需要关注多租户管理、资源隔离、作业管理等。除此之外,在大数据时代训练数据大多存储在以 HDFS 为代表的分布式储存系统中。所以,直接存取 HDFS 也是必不可少的功能。基于以上考虑,我们设计了 TensorFlow on Yarn,实现了深度学习与大数据平台的整合。 除了 TensorFlow on Yarn 外,会向大家一并介绍下我们更早设计的 SparkFlow(TenrsorFlow 与 Spark 的结合),以及整合更多计算框架到 Yarn 的思考。

个人简介

李远策,奇虎 360 技术经理,2013 年加入奇虎 360,先后参与公司 Hadoop、Spark 、深度学习等平台的建设,历经公司 Hadoop 平台高速发展及、Spark 平台从无到大规模实践及深度学习平台的落地。曾主持 SparkSQL 索引、{MPI/TensorFlow/Caffe} on Yarn 等多个项目。工作中专注于解决平台中的各种 Bug 及用户遇到的各类问题,爱好开源,乐于学习和分享。目前主要关注 大数据索引、大数据+深度学习等领域。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT