BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Facebook使用Corona提升Hadoop的可伸缩性

| 作者 Roopesh Shenoy 关注 0 他的粉丝 ,译者 潘志明 关注 0 他的粉丝 发布于 2012年11月22日. 估计阅读时间: 2 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Facebook已经开源了Corona,这是一款内部开发的用以改善Hadoop MapReduce调度的软件。

Corona将集群管理和作业跟踪这两个关键任务分开。这与Apache YARN在概念上不谋而合,YARN也是MapReduce调度器和资源管理器的一个改进版本。Facebook的工程团队发表了一篇文章来解释Corna及其背景。他们同时也解释了为什么没有采用YARN——

“值得注意的是,我们曾经考虑过将Apache YARN作为Corona的一种替代方案。然而,在调研了YARN在我们的HDFS版本(由于我们海量的PB级数据存储而产生的强烈需求)上的使用情况后,我们发现了很多不兼容问题,修复的时间成本过高,而且存在风险。此外,YARN能否适应Facebook规模的负载也是个未知数。”

Facebook的Hadoop版本一个主要不同AvatarNode,它会为集群中的每个结点创建一个热备份。这就创建了高可用的NameNode,甚至允许非停机条件下进行软件升级。Facebook的数据仓库当前需要处理成百上千PB数据,而且每天还要新增0.5PB ,这对他们是非常关键的。

Corona当前能够运行MapReduce作业,但Facebook打算将其用于来自其他类型应用(比如Peregrine)的调度作业。

Apache Hadoop是一组支持大规模分布式计算的项目集。读者可以参考InfoQ上的Hadoop相关资源

查看英文原文Corona Improves Hadoop Scalability At Facebook


感谢臧秀涛对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT