BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

深入浅出Mesos

| 作者 InfoQ中文站 关注 60 他的粉丝 发布于 2015年11月23日 CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

卷 首 语

云计算和大数据是这个时代的主题。这个主题是由数据挖掘、算法、微服务等具体的活动或者业务组成的,进而它们可以分解为离线或实时的任务。这些任务可能是长时间运行的、定时执行的,亦或是短时间内一次执行即结束的。每个任务都需要CPU和内存资源来处理,这些资源很可能是跨主机的,甚至是跨数据中心的。那么,面对光鲜亮丽的时代主题,我们该如何设计和实现任务的调度和资源的分配呢?答案是不需要这样做,因为我们有Mesos。

Mesos是为软件定义数据中心而生的操作系统,跨数据中心的资源在这个系统中被统一管理。Mesos非常智慧和优雅地以Framework的形式,提供了的两级调度机制,将任务的调度和执行分离。前面提到的各种类型的任务,在调度阶段,由Framework的调度器以资源邀约的形式向Mesos Master申请资源;在执行阶段,由Framework的执行器执行任务。Mesos帮助我们解决了错综复杂的任务调度和资源管理的问题后,我们可以专注于实现自己的任务,进而完成云计算和大数据业务。

Mesos的意义不止与此,它为我们带来了一个生机勃勃的生态环境。基于现有的Framework,我们可以使用Marathon跑长时间运行的(微)服务,使用Chronos运行批量任务,使用Spark做大规模数据处理,使用Cassandra实现数据存储。这些Mesos生态中的系统都基于两级调度机制,实现了Framework。Mesos的这种插件式的Framework,使其自身轻盈,使其生态蓬勃。

同Borg相比,Mesos更亲民,我们摸得着看得见;同Omega相比,Mesos更现实,曲调虽然不算高山流水,却能奏完每个篇章;与Kubernetes相比,Mesos更成熟;Mesos之于Hadoop,计算模型上使用Spark超越了MapR,资源管理上,是YARN模仿的样板。

自2009年,诞生于加州大学伯克利分校的AMPlab,Mesos在不断地完善其生态系统。创始人Benjamin Hindman以首席架构师的身份,参与着Mesos背后的商业实体公司Mesosphere的建设,通过推出数据中心操作系统(DCOS)产品,不断降低Mesos的使用门槛,提高生产率;创始人Andy Konwinski和Matei Zaharia是Spark背后的商业实体公司Databricks的联合创始人。这样的生态体系和商业形式,为开发者带来了更多的信心和参与其中的兴趣。

目录

  • 深入浅出Mesos(一):为软件定义数据中心而生的操作系统
  • 深入浅出Mesos(二):Mesos的体系结构和工作流
  • 深入浅出Mesos(三):持久化存储和容错
  • 深入浅出Mesos(四):Mesos的资源分配
  • 深入浅出Mesos(五):成功的开源社区
  • 深入浅出Mesos(六):亲身体会Apache Mesos
  • Apple使用Apache Mesos重建Siri后端服务
  • Singularity:基于Apache Mesos构建的服务部署和作业调度平台
  • Autodesk基于Mesos的可扩展事件系统
  • Myriad项目: Mesos和YARN 协同工作

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT