BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Amazon发布AWS Batch预览版

| 作者 Kent Weare 关注 11 他的粉丝 ,译者 薛命灯 关注 24 他的粉丝 发布于 2016年12月13日. 估计阅读时间: 4 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

在最近的AWS Re:Invent大会上,Amazon发布了AWS Batch的预览版。通过AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon推出这项服务是为了满足大量AWS客户的需求,他们基于EC2实例、容器和CloudWatch建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS首席布道师Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的EC2实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入Amazon Spot实例,这样就可以抢占Amazon EC2空闲的计算资源。AWS Batch服务还提供了作业优先级和依赖管理特性。Amazon希望客户可以把精力集中在业务需求上,让AWS Batch来处理剩下的事情。

在AWS re:Invent大会的“AWS Batch:在AWS上运行简单高效的批处理计算”讨论环节,AWS首席产品经理Jamie Kinney介绍了有关AWS Batch的几个概念:

  • Jobs是作业单元,它们被提交到Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行Jobs。每个作业都需要引用一个Job Definition,Job Definition的参数可以被覆盖,包括vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存Jobs,直到它们被执行。Jobs会等待它们所依赖的Jobs执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对vCPU的需求量,等等),AWS将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到Job Queue的Jobs进行评估,评估它们在何时、何处以及如何被执行。Jobs几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon提供了AWS Batch适用性指南。对于需要大量传递数据的场景,比如ETL或大数据处理,Amazon建议客户使用EMR、数据管道、Redshift或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为AWS Batch就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据AWS Batch的路线图,AWS Batch将在后期支持作业数组,并且可以使用AWS Lambda来执行作业。

查看英文原文:Amazon Introduces AWS Batch Preview

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT