BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Hadoop2.0应用 - 基于Yarn的淘宝海量数据服务平台
录制于:

| 作者 曹龙 关注 0 他的粉丝 发布于 2014年2月16日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
30:52

概要
随着网站规模和业务的发展,阿里集团旗下的各家子公司积累了大量数据,为了分析这些数据,计算平台的种类增多规模也不断扩大。作为其中最大的计算云梯平台,尝试解决目前面临单节点扩展性瓶颈及多个计算平台的资源浪费问题,在考察多个平台后引入了YARN平台。本议题介绍YARN及阿里巴巴云梯集群在YARN方面的尝试及目前的状态。

个人简介

曹龙(封神),阿里巴巴海量数据平台高级开发工程师,微博: @封神无度,个人主页:http://fengshenwu.com/blog/。09年加入阿里巴巴,先后在B2B、集团工作,开始从事3年网站研究,后从事Hadoop相关的分布式计算研究。现主要参与集群维护,新方案的设计、编码、测试,为云梯不断满足业务发展提供有生力量。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT