BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Elastic Mesos服务实现EC2中集群自动化部署

| 作者 Charles Menguy 关注 0 他的粉丝 ,译者 孙镜涛 关注 2 他的粉丝 发布于 2013年12月24日. 估计阅读时间: 3 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

EC2用户现在能够自动化部署Apache Mesos了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司Mesosphere所提供的一个称为Elastic Mesos的新Web服务实现规模化。

该服务在本质上类似于Amazon的Elastic MapReduce,因为它会在Amazon EC2实例上安装Mesos依赖的所有内容,包括Zookeeper和HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与Elastic Mesos相关的费用,所以你只需要为自己使用的EC2付费。Elastic Mesos现在建议的集群大小限制为6个或者us-east-1区域中的18个m1.large实例,这受制于按需实例的价格

你能够通过Elastic Mesos用户界面中所提供的三步操作完成一个Mesos集群的部署,在此过程中你只需要指定想要的集群大小、EC2证书和一个接收通知的email地址即可。完成时间很大程度上取决于EC2实例的配置时间,不同的人可能不一样,Mesosphere估计集群准备好之前大约需要20分钟的时间。

Mesos最初是由UC Berkeley作为一个研究项目开发的,之后Twitter迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter的高级副总裁Christopher Fry将Mesos看作是“自己版本的弹性计算”,现在它已经是Apache的一个顶级项目了。围绕着Mesos开发一款产品对于Mesosphere而言非常有意义,它的创建者Flo Leibert和Tobi Knaup之前在Twitter和Airbnb工作,这两家公司是Mesos的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在Mesos的技术支持名单中找到像Vimeo、OpenTable或者UC Berkeley这样的大牌。

Elastic Mesos类似于 Apache Whirr,后者是一个能够运行并管理云端服务的开源类库,但是Whirr 并不支持Mesos 。即使是这样,Elastic Mesos提供了一个自包含的服务,而Whirr则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是Mesos向主流采用迈出的第一大步,人们经常搞混的一个项目是Hadoop YARN。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止YARN的采用率更高,因为它是Hadoop 2事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是Twitter上的社区响应大部分都是正面的。在2013年12月份的Spark Summit 上也已经有了一个教程,该教程详细描述了如何在Elastic Mesos上运行Spark,该教程在Spark社区中引起了非常好的反响。

查看英文原文Elastic Mesos service automates Mesos cluster deployment in EC2

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT