BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Invent and re:Invent:AWS说我们永远都在Day One

| 作者 杨赛 关注 3 他的粉丝 发布于 2014年11月15日. 估计阅读时间: 13 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

2014年11月13日,美国拉斯维加斯,AWS re:Invent 2014大会官方日程的第三天。第二场主题演讲由AWS CTO Werner Vogels主讲,一个半小时的议程主要由合作伙伴的分享和两个新服务的发布信息组成。

Vogels首先简单回顾了一下之前一天主题演讲的内容,他认为这里面最酷的一件事情是,那些刚刚发布的Aurora、CodeDeploy、Key Management等新的AWS服务自身,也都是在更基础的S3、EC2、DynamoDB这些服务上构建的,是用AWS服务构建、运行的AWS服务。

Vogels回顾了去年Kinesis的发布,介绍日本吟味回转寿司店的案例。回转寿司店使用了带有RFID标签的碟子(不同的碟子装的寿司种类不同),刷碟子的信息直接上传给Kinesis,然后中转给EC2进行处理,再保存至S3,导入RedShift,最后通过Tableau进行销售数据呈现。

合作伙伴们的分享

第一个登场分享的合作伙伴嘉宾是Splunk CEO Godfrey Sullivan,专注于监控与管理层面。Splunk将各种机器数据——服务器、安全、在线服务、Web服务、购物车、数据库、应用、移动的各种指标,收集分析并实时产生报表。目前Splunk在全球有8000多名客户,在AWS运行Splunk Cloud、Splunk enterprise、Splunk App for AWS、以及Hunk等服务(InfoQ上此前有对Hunk的介绍)。

第二个登场分享的合作伙伴嘉宾是Omnifone首席工程师Phil Sant。Omnifone是专注于音乐服务的B2B平台,Music Unlimited、rara、Spotify、BMW等企业/服务都用到了他们提供的服务,这些服务包括音乐的版权获取分发、流媒体处理、下载、移动播放等。Omnifone早期自建数据中心,在SUN的服务器上花了1500万美元。后来他们针对AWS平台做了代码重构,并完全转移到了AWS上,这样的好处是全球服务可用以及更快速的开发。

第三个登场分享的合作伙伴嘉宾是The Weather Company的EVP兼CIO Bryson Koehler。The Weather Company是气象数据平台,以前主要是给电视台天气预报节目(The Weather Channel、WSI)提供数据的,现在则转向了面向电视、网站、移动客户端、移动平台(如Google和苹果)、企业(如美国航空公司)等多种客户的数据平台。这家公司在历史上做过很多收购,后来发展到13个数据中心的规模,数据中心之间相互依赖、重复组件多、技术组成混杂、故障点众多、设备种类杂(还有很老的VAX)、新版本线上部署的成功率不足75%。他们于是决定做很大的改变,公司的技术和文化都要改变。于是就有了今天这套构建在AWS上的新系统,目前已经用到了19782个CPU核、200TB内存的AWS资源,每秒创建4GB的数据,平台的设计承载量为每日150亿次天气数据发布。该平台的数据来自800多个不同的数据源,卫星数据源Radar Data只是其中一个,还有22亿个监测点数据,结合大气科学和计算机科学进行高准确度的计算预测。

第四个登场分享的合作伙伴嘉宾是Pristine联合创始人和CTO Patrick Kolencherry,他们在Google Glass上做的应用已经在医学领域使用,公司创建于2013年,目前已经有25个以上的医疗/企业客户。其中一个应用场景就是针对产妇的。产妇生产后的一个小时内,处于新生儿安全的考虑,新生儿是处于隔离地区的,这段时间母亲是看不到孩子的。而Pristine的应用就是让母亲远程看到孩子,这样有比较好的体验。在以前,初创企业要做企业级应用是很困难的,尤其因为资源和人手的局限性,不过AWS这种模式他们感觉解决了很多问题,尤其是生态,比如他们的DevOps交给了Flux7来代做,这样节省了人力又有很好的效果。Pristine使用了VPC、EC2、ElastiCache、ELB,还有Route53和CloudFront,另外也大量使用了Docker。Pristine的计算节点用于Signaling、认证、Crosslink、MongoDB、Rethink DB等工作,在EC2上使用Docker大大简化了开发部署流程,以及依赖管理的工作。

Docker,又是Docker

为什么在AWS上用Docker会比较好用呢?这就是本次发布的新服务:

Amazon EC2 Container Service(ECS,今日起可申请预览)。

开发者喜欢Docker(Vogels特意推荐大家看看The Box这本书),喜欢Docker的可移植性,但是Containers的任务分配规划在目前还是个很重很繁琐的事情。本服务便是为了解决这个问题而推出(在EC2上跑Docker的需求据说已经很多了):将计算资源分配的工作自动化、弹性化,提高资源使用效率,提高可用性,同时提供简单的API以便于集成。

AWS产品市场部负责人Paul Duffy上台演示了这个新服务的用法。要使用ECS,只需要选择支持ECS的AMI镜像安装到EC2里,集群就会自动签入该实例。通过list-clusters即可查看集群里可用的实例,通过run-instances即可启动,当然在我们给它安排任务之前,它也不会跑什么任务,需要做一个register-task-definition的动作,将哪个任务对应哪个Docker文件定义出来(定义文件是一个JSON文件),比如定义哪个是RabbitMQ,哪个是Redis,哪个是NodeJS。定义好了之后,用run-task即可让任务跑起来,比如Paul在demo中先跑了1个RabbitMQ,再跑了5个Redis,再跑了5个NodeJS(这条操作执行的时候ECS也同时启动了5个Nginx),再跑了30个音频处理任务,然后又跑了30个音频处理任务的v2版本,然后用stop-task把在跑的v1版本都停掉,最后用stop-task把所有任务停止。

Demo之后,Docker公司CEO兼联合创始人Ben Golub上台分享。首先分享的是Docker的理念:发展了18个月的Docker,现在已经有一个生态。而从一开始创建Docker到现在的目的一直都很简单:开发者是内容创作者,应该将他们从“分发”这一行为中解放出来,就好比印刷术将作者从抄写的工作中解放出来一样。

Ben认为互联网应该成为通用的计算平台。2000年以前的应用,存活周期长,耦合度高,一大坨的部署在一台服务器上;而2014年的应用,生命周期短(迭代速度快),松散耦合的部署在很多服务器上。正因这变化巨大,也带来了很多新的问题,我们需要将这些问题从开发者那一侧抽离出来,帮他们解决这些问题。

Ben将应用的Docker化分为5个阶段:1、容器技术可用。2、容器标准化。3、构建围绕容器的生态。4、成熟的多Docker应用模式。5、可管理所有这些东西的平台。Ben认为第一阶段在Docker诞生以前就已经完成了,过去18个月做的事情主要都是在2、3阶段。技术的发展是一方面,重要的是一直保持开放,所以Github上才会出现那么多跟Docker相关的开源项目。

Ben认为ECS很好的地方在于这个服务很尊重Docker Hub的原有体系,因此他很高兴能在re:Invent这个场合跟大家做分享。Ben介绍了他们客户Gilt的例子,Gilt是一个很大的零售网站,使用Docker之前的开发部署周期是以星期计算,整个系统由7个大型应用组成。使用Docker之后,开发部署周期缩短为以分钟计算,系统被拆分为300多个微服务。分钟级的开发部署周期,意味着每天都可以迭代100多次,那就是100多次的创新。

Ben最后说,很多人问他认为Docker世界的哪些玩家最终会获胜,他的答案是不知道。但无论如何,能将开发者从分发的工作当中解放出来的,都是胜利者。

Vogels公布了ECS的定价:免费。使用时仅收取EC2资源的价格。

新服务,又是新服务

公布了ECS之后,Vogels又公布了AWS Lambda服务。InfoQ中文站编辑(出于激动的心情)对本服务已经优先做了报道,本文中就不再赘述。

实际上,Netflix已经在其系统中使用了Lambda,其首席产品官Neil Hunt简单介绍了一下他们的四个用法:一个是媒体文件上传S3后自动触发编解码农场,一个是跨region数据备份后自动验证备份,一个是部署新版本之后自动对变更做安全验证,一个是在监控系统进行配置变更后自动创建新的报警条件和面板。

Lambda介绍完毕之后,Vogels表示AWS会对基础服务进行持续的改进,于是又宣布了一个新的EC2实例类型C4,其特点为:计算型。

  • 处理器基于E5 v3(Haswell),正常情况下有2.9GHz,Turbo Boost模式下可达到3.5GHz。
  • 36个vCPU
  • 支持EBS(即,可以跑Docker)
  • 网络性能超级稳定

与此同时,EBS卷也进行了更新。通用型SSD卷可创建至16TB,支持10000 IOPS/160 MBps的读写能力。可保证IOPS型SSD卷可创建至16TB,支持20000 IOPS/320 MBps的读写能力。

这性能优化是怎么做的呢?Vogels说这都要感谢Intel的伙伴们,并邀请Intel数据中心事业部总经理Diane Bryant上台跟他一起同台分享。C4的处理器是Intel的伙伴们针对EC2专门优化的,双方的工程师们在这个项目上有非常深入的合作。另外,双方还一起赞助了大会当晚的re:Play晚会活动,邀请SkrIIIeX在晚会上演奏。

总结

AWS re:Invent大会在11月13日达到了高潮,当晚的re:Play是一个万人规模的游戏场,白天拼命开发、使劲Invent and ReInvent的工程师们在晚上则拼命的Play and Replay,正所谓work hard play hard。

InfoQ编辑在采访AWS首席布道师(兼AWS官方博客首席博主)Jeff Barr的时候问他,AWS起步的一个信念,是让Web Services可以满足企业对IT的一切需求,现在我们看到这个信念越来越多的变为现实,Web Services能做的“企业级”的事情越来越多,那么我们到底走了多远?有50%吗?

Jeff Barr的回答是:1%。

“我们永远都在Day 1。我们并不在意我们已经走了多远,我们的眼睛只望向前方。”

与大家共勉!


更多精彩内容,欢迎访问以下视频获悉,相信能够给您震撼。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT