BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Myriad项目: Mesos和YARN 协同工作

| 作者 Boris Lublinsky 关注 0 他的粉丝 ,译者 楚晗 关注 0 他的粉丝 发布于 2015年3月20日. 估计阅读时间: 4 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

Jim Scott发表了新文章《两个集群的故事:Mesos和YARN》,它从当今许多IT采购中一个相当常见的情况开始讲述,即多资源孤岛:

第一个集群是Apache Hadoop,它相当于一个岛,它的资源全部用于Hadoop平台和它的进程。第二个集群就是除了Hadoop之外其它所有资源所在的集群。

之所以产生这种情况是由于Hadoop是用Apache YARN来管理自己的资源,而尽管YARN在Hadoop集群中工作的不错,但对于非大数据的应用YARN就显得不那么适用了。

就像Scott在他文章中说得那样,这里的问题在于YARN所实现的调度方法:

当一个作业请求提交到YARN的资源管理器,YARN会对可用的资源进行评估,并放置作业到相应的位置。这是一个作业应该去哪儿的决定……,YARN针对Hadoop中的作业调度进行了优化,从历史或者典型场景的角度来说,这种优化都是针对长时间运行的批处理作业。这就意味着YARN并不是为长时间服务,或者短生命周期的交互式查询来设计的……,虽然有可能让YARN去调度其它这些工作负载,但显然这不是个理想的模型。

另一个不同的调度模型就是Apache Mesos,它:

……利用了两级调度机制,即资源的请求和提供是针对框架(framework)而不是作业,可以把框架视为在Mesos上面运行的应用。Mesos的主节点决策提供给每个框架多少资源,每个框架接着决策它能接受的资源申请以及哪种应用可以在这些资源上运行。当集群中的节点共享多个框架时,这种资源分配方法可以获得近似最佳的数据本地化(data locality)。

现实情况中,Mesos和YARN在IT基础设施中都占有重要的位置。但是像Scott所讲述的,当你把它们两个背靠背使用时就会导致资源分裂。

在相同的数据中心同时使用Mesos和YARN两个资源管理器会带来益处,但目前需要你创建两个不同的静态分区。这也意味着某些资源会专属于Hadoop,需要用YARN来管理,而其余的则是用Mesos。

如同Scott所说,eBay、MapR和 Mesosphere合作了一个新项目,被称作Myriad,它可以让YARN和Mesos和谐的工作,而这会给企业和数据中心带来好处。

这个开源项目是Mesos框架和YARN调度器的结合,它使得Mesos可以管理YARN的资源请求。当YARN中有作业请求资源时,YARN的资源管理器会先通过Myriad的调度器来调度,这样就可以和Mesos的资源申请和提供匹配起来。Mesos Master接下来会把调度请求发给Mesos的工作节点(Mesos Slave)。Mesos的工作节点会和Myriad的执行器(executor)进行通信并发送请求, Myriad执行器的作用是运行YARN的节点管理器(Node Manager)。当Myriad在Mesos分配的资源上加载YARN节点管理器后,YARN节点管理器就会和YARN的资源管理器通信来确定作业可用的资源。YARN可以以自己认为适合的方法来使用资源,Myriad则在Mesos可用的资源池和YARN的有资源需求的任务间提供了无缝的桥梁。

Myriad使得在使用Mesos时,资源利用和跨数据中心的资源管理得以统一。在这种情况下,YARN的工作负载是运行在共享的集群上,相比独立的YARN集群来说,更加动态和弹性。这个方法也使得数据中心维护团队可以扩展其资源以供给YARN(或者,从YARN拿走)而无须去重新配置集群。

查看英文原文:Project Myriad: Mesos and YARN Working Together

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT