BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Yarn on Docker,大数据下Docker的最佳实践
录制于:

| 作者 潘松柏 关注 0 他的粉丝 发布于 2016年11月29日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
40:56

概要
Docker目前在互联网开始普及,越来越多的企业开始规模化使用Docker,TalkingData在15年开始尝试在大数据方向使用Docker的弹性计算,将大数据的计算和Docker的弹性调度相结合,通过Docker网络插件很好的解决了大数据下高吞吐的网络问题,通过shipyard轻松的完成YARN集群的自动编排。我们在整体的计算平台做了横向和纵向的压力和负载测试,并行和计算能力要明显好于Native的yarn的集群,在整体的硬件的使用率上,能够提高20%左右,很大程度上节省了硬件成本;大会上我们将会分享几个经验。1.怎样在Docker上构建Hadoop计算平台,确保计算的弹性伸缩。2.Docker怎么解决高吞吐下的网络问题。3.Yarn on Docker需要做哪些方面的参数优化。4.Docker的网络插件开源计划。

个人简介

潘松柏,TalkingData高级运维总监,曾就职于中国移动12580、中国惠普等企业。2011年作为初始团队成员加入TalkingData任高级运维总监,负责公司SaaS产品线和行业客户私有云服务项目的基础系统实施和建设。15年年底,TalkingData技术运营开源了企业级监控OWL系统,解决了大数据下不同组件的监控问题,将监控统一到分布式平台来实现。

CNUTCon是由InfoQ主办的顶级容器技术盛会,大会的目的是促进容器技术的发展与应用。CNUTCon为期两天,主要面向对容器技术感兴趣的中高端技术人员,大会聚焦技术落地,旨在结合场景,帮助参会者了解国内外相关公司的容器应用案例,使企业可以根据最佳实践确定自己的选型方案,并提前预估相关的风险和收益。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT