BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Yarn on Docker——容器技术在大数据场景下的应用
录制于:

| 作者 宋净超 关注 3 他的粉丝 发布于 2016年12月5日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
34:26

概要
本次分享 TalkingData 的大数据集群计算资源虚拟化实践。随着公司业务和公司规模的迅速扩大,原本分散在各个业务线的 Hadoop 集群给公司造成了巨大的管理和成本负担,因此我们在机房迁移的过程中,同时进行了系统架构的调整,将原来的多个 Hadoop 集群合并为一个整体统一管理,但这又带来计算资源抢占和主机 CPU 内存利用率不足的问题。因此我们建设了数据中心操作系统,使用 Docker 来负责主机资源分配,Yarn 负责任务调度,其他程序如 apex、flink、spark 等基于 yarn 的应用程序可以直接部署运行在 Docker 中。我将主要介绍下 Yarn on Docker 的架构、这种架构带来的好处与实践过程中踩过的坑还有我们即将开源的 Docker 网络插件。

个人简介

宋净超,TalkingData 研发部大数据工程师,拥有多年的 Hadoop 大数据集群部署、管理、优化和实战经验,对 Hadoop 和 Docker 的结合落地进行了丰富的探索,主导了 TalkingData 的 Yarn on Docker 和微服务落地,关注大数据开源软件及 Docker 微服务和 Hadoop 的前沿发展。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT