大规模视频网站的计费与流量管理
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
该内容已经被标记书签!
标记书签错误,请重试!
作者 Dionysios Synodinos 译者 韩锴 发布于 2008年5月4日
一向倡导所谓的“硬件即服务(HaaS)”的Amazon的弹性计算云(Elastic Computer Cloud,EC2),如今在它的特性列表中加入了持久化存储的功能。Amazon的CTO Werner Vogels讲述了如何把存储卷挂接到EC2实例上,以及存储卷如何处理失败与数据一致性的问题;同时他也谈到了如何存储一个S3(Amazon的存储服务)中存储的快照作为备份。InfoQ中有几篇文章探讨了EC2服务背后的技术和好处:
Amazon的弹性计算云(EC2)基于剑桥大学的Xen虚拟化技术,它是一种计算服务,允许用户按照需要创建、运行和终止基于Linux的服务实例。每个虚拟机实例都是一个虚拟服务器,会在启动时通过DHCP获得一个IP地址。虚拟机的镜像(Amazon称其为Amazon机器镜像,AMI)可以被归档并传递,这一点很像VMware的虚拟appliance,因此,开发者可以设置一个必需软件的初始实例,然后将它快速地部署到大量虚拟服务器上。
使用EC2的主要障碍在于它缺少持久化存储的支持,Amazon已经意识到了这个问题,正如其CTO Werner Vogels在blog所描述的那样,Aamzon已经将持久化存储列为一项新特性了:
我要向你介绍Amazon EC2的最新特性:持久化本地存储。这项特性在EC2用户的请求列表中呼声很高。我相信,只要结合使用这个月早些时候发布的“可用区域(Availability Zone)”和“弹性IP地址(Elastic IP Address)”技术,EC2将成为构建具有高可扩展性和可用性的应用程序的理想环境。Amazon EC2的持久化存储将会以存储卷的形式提供,你可以把它当作一个原生的块存储设备,挂载到你的EC2实例。它看上去像一个没有格式化的硬盘。一旦你第一次挂载了存储卷,就能够将它格式化为你想要的任何文件系统,或者如果你的程序比如高端的数据库引擎有需要,也可以不格式化直接使用。
Werner提醒说,使用者可以为他们的存储拍摄快照,并存储到S3中:
...我们还加入了快照特性:你可以要求EC2为存储卷拍摄快照,并保存到Amazon S3中。你可以将它用于长期的备份,在回滚策略中使用它们,也可以用于(世界范围内的)卷的重建。
Thorsten提前试用过该特性,并且把他的经验记在了Blog上。Thorsten来自RightScale,这是一家提供云计算服务器平台的公司,他们的平台是利用Amazon Web Services(AWS)部署的。
有了存储卷以及拍摄快照这样很酷的功能,下面这个趋势已变得越来越明显了:相比那些仍然抱着自己的机器不放的人来说,采用云计算的人手上将握有更多的计算能力和灵活性。这就像敏捷软件开发一样:如果你想让自己的internet/web service得以生存的话,就必须参与到云计算,否则你的竞争对手就会更快地、更好地、更便宜地部署他们的服务,从而将你远远落下。
来自Amazon的Jeff Barr描述了持久化功能的更多技术细节,并且强调了存储能力可以根据需要随时获取:
周六,我花了些时间尝试了一下这些新特性。在短短的几分钟内,我就创建了一对512GB的卷,并把它们挂接到EC2实例上,然后用mkfs在上面创建文件系统,最后挂载它们。当我使用完成后,就将它们卸载、解除连接,最后删除它们。这一切都非常简单。我可能有些“王婆买瓜”的味道,但是这种可以按照需要获取大量存储的能力看上去的确是非常酷。
来自Amazon’s EC2团队的Matt也谈论了这一新特性:
你将能够创建从1GB到1TB不等的卷,并且可以将多个卷挂接到一个单独的实例上。这些卷可以以高吞吐量和低等待时间访问Amazon EC2,并且可以挂接到任何运行中的EC2实例上(这些卷看上去就是EC2实例内部的设备而已)。这一特性使得在Amazon EC2上运行关系数据库、分布式文件系统、Hadoop进程集群等等程序更为简单。一旦持久化存储投入使用后,Amazon EC2将会增加一些新的API来支持它。包括管理卷(CreateVolume和DeleteVolume)、挂载卷(AttachVolume和DetachVolume)和保存快照到Amazon S3(CreateSnapshot和DeleteSnapshot)。
Amzon宣称,这项新特性已经私下提供给少量的用户了,它将会在今年晚些时候正式公布。你可以在infoq.com/amazon获得更多信息。
查看英文原文:Amazon upgrades EC2 with Persistent Storage译者 韩锴 毕业于北京工业大学软件学院,现任ThoughtWorks公司咨询师,热衷于敏捷软件开发技术的实践和推广。
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
Jeffrey Richter以其多本Windows核心技术的经典著作而闻名,同时,他深入掌握微软的.NET等一系列核心技术,2012年1月,Jeffrey Richter在北京接受了InfoQ中文站的专访,谈到Windows 8和WinRT编程,并就异步编程、Windows编程中的可扩展性、性能和安全性方面给出自己的建议。
云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。
淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011。
2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。
12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011。
篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011。
本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。
2 条回复
关注此讨论 回复