BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

YARN  在InfoQ上的内容 rss

演讲所属 YARN rss

他的粉丝 TensorFlow on Yarn:深度学习遇上大数据 作者 李远策 关注 1 他的粉丝 发布于 2017年8月16日 TensorFlow 的开源大幅降低了深度学习的门槛并极大推动了深度学习在众多公司的落地。但是,建设深度学习平台更多还需要关注多租户管理、资源隔离、作业管理等。除此之外,在大数据时代训练数据大多存储在以 HDFS 为代表的分布式储存系统中。所以,直接存取 HDFS 也是必不可少的功能。基于以上考虑,我们设计了 TensorFlow on Yarn,实现了深度学习与大数据平台的整合。 除了 TensorFlow on Yarn 外,会向大家一并介绍下我们更早设计的 SparkFlow(TenrsorFlow 与 Spark 的结合),以及整合更多计算框架到 Yarn 的思考。

他的粉丝 Yarn on Docker——容器技术在大数据场景下的应用 作者 宋净超 关注 3 他的粉丝 发布于 2016年12月5日 本次分享 TalkingData 的大数据集群计算资源虚拟化实践。随着公司业务和公司规模的迅速扩大,原本分散在各个业务线的 Hadoop 集群给公司造成了巨大的管理和成本负担,因此我们在机房迁移的过程中,同时进行了系统架构的调整,将原来的多个 Hadoop 集群合并为一个整体统一管理,但这又带来计算资源抢占和主机 CPU 内存利用率不足的问题。因此我们建设了数据中心操作系统,使用 Docker 来负责主机资源分配,Yarn 负责任务调度,其他程序如 apex、flink、spark 等基于 yarn 的应用程序可以直接部署运行在 Docker 中。我将主要介绍下 Yarn on Docker 的架构、这种架构带来的好处与实践过程中踩过的坑还有我们即将开源的 Docker 网络插件。 1

他的粉丝 Yarn on Docker,大数据下Docker的最佳实践 作者 潘松柏 关注 0 他的粉丝 发布于 2016年11月29日 Docker目前在互联网开始普及,越来越多的企业开始规模化使用Docker,TalkingData在15年开始尝试在大数据方向使用Docker的弹性计算,将大数据的计算和Docker的弹性调度相结合,通过Docker网络插件很好的解决了大数据下高吞吐的网络问题,通过shipyard轻松的完成YARN集群的自动编排。我们在整体的计算平台做了横向和纵向的压力和负载测试,并行和计算能力要明显好于Native的yarn的集群,在整体的硬件的使用率上,能够提高20%左右,很大程度上节省了硬件成本;大会上我们将会分享几个经验。1.怎样在Docker上构建Hadoop计算平台,确保计算的弹性伸缩。2.Docker怎么解决高吞吐下的网络问题。3.Yarn on Docker需要做哪些方面的参数优化。4.Docker的网络插件开源计划。

文章所属 YARN rss

他的粉丝 数据中心的Yarn on Docker集群方案 作者 宋净超 关注 3 他的粉丝 发布于 2017年3月22日 数据中心中的应用一般独立部署,为了保证环境隔离与方便管理,保证应用最大资源 数据中心中普遍存在如下问题: 1.主机资源利用率低 2.部署和扩展复杂 3.资源隔离无法动态调整 4.无法快速响应业务。

他的粉丝 Hadoop YARN在Hulu的成功实践 作者 董西成 关注 0 他的粉丝 发布于 2016年3月10日 Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Hadoop十岁生日之际,InfoQ策划了一个Hadoop热点系列文章,为大家梳理Hadoop这十年的变化,技术圈的生态状况,回顾以前,激励以后。本文介绍了YARN在Hulu的应用实践。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT