BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Singularity:基于Apache Mesos构建的服务部署和作业调度平台

| 作者 马德奎 关注 0 他的粉丝 发布于 2014年9月1日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Singularity是一个在云基础设施中部署和运行服务和计划作业的平台,同时也是HubSpot PaaS的核心组件。它能够高效地管理底层进程的生命周期,并有效地利用集群资源。它可以作为持续部署基础设施的基本组成部分,而且是微服务部署的理想选择。它不仅能够管理数以百计的服务器上运行着的数以千计的进程,而且还提供了如下开箱即用的特性:

  • 丰富的REST API,既有用于部署的,也有用于获取活动部署和历史部署信息的;
  • Web应用客户端(Singularity UI)使用上述API向用户提供所有可获得信息的友好视图;
  • 部署失败时自动回滚;
  • 服务本身或者服务器故障时自动实现服务的故障转移;
  • 自动暂停反复失败的服务;
  • 进程和服务端点级别的健康检查;
  • 多实例服务的负载均衡;
  • 日志循环和归档;
  • 针对每个服务实例的资源限制和资源隔离,并能杀死超过限制的实例;
  • “机架(Rack)”/可用区域识别。

Apache Mesos的术语中,使用Mesos API在集群中调度任务的Mesos应用程序称为框架。Singularity就是一个Apache Mesos框架,它作为一个任务调度器运行在Mesos集群之上,如下图所示:

从中可以看出,Singularity在一个框架中融合了长期运行任务的调度功能和批处理作业的调度功能,可以支持开发人员需要每天部署的许多常见进程类型,包括:

  • Web服务:长期运行的进程;
  • 工作进程:长期运行的进程,类似Web服务,但不暴露API,比如Queue Consumer就是一种常见的工作进程类型;
  • 计划作业:周期性运行的任务;
  • 按需执行的进程:需要手动执行的进程。

Mesos框架有两个主要组件:调度器组件和执行器组件,前者注册到Mesos主进程用于分配资源,后者由Mesos从属进程在集群从节点上启动并运行框架任务。Mesos主进程决定为每个框架分配多少资源,框架调度器选取提供的部分资源用于运行所需的任务。Mesos从属进程并不直接运行任务,而是委派给合适的执行器来运行。Singularity实现了这两个基本的框架组件,并且还提供了日志查看器、S3上传器、执行器清理、OOM进程清除、Singularity UI、Singularity Java Client等组件。

此外,借助请求对象和部署对象,Singularity在Mesos任务之上提供了一个面向部署的层。其中,请求对象定义一个可部署项,而部署对象定义一个可部署项的执行参数。要想了解所有Singularity端点及相应请求和响应对象的完整描述,请查看Singularity API参考

最后,对Singularity感兴趣的读者可以查看针对测试开发的本地安装文档以及Singularity部署示例,以了解更多的细节。还有一点不得不提一下,就是Singularity的路线上图上有支持Docker容器部署一项。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT