大规模视频网站的计费与流量管理
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
该内容已经被标记书签!
标记书签错误,请重试!
作者 Carlos Armas 译者 金明 发布于 2009年12月30日
最近,MySpace与Fusion-io宣布双方正在共同努力,减少数据中心的运营费用。借助于Fusion-io的ioDrive固态硬盘(SSD),MySpace替换掉了150台标准负载服务器,并且把重载服务器的数量从80降低到30。这两家公司最近发表了一份白皮书报告,宣称最终减少了51%的服务器空间。根据白皮书,MySpace计划等到剩余1700台2U服务器寿终正寝的时候,将把这些服务器也要全部替换掉。
在2009年3月的新闻发布会上,Fusion- io表示他们最新的固态硬盘(SSD)的参数为持续读取带宽 1.5GB/s、读取IOPS(I/Os Per Second) 186,000、持续写入带宽 1.4GB/s、写入IOPS 167,000,是由他们320G的SSD产品达到的。相比较而言,低端SATA硬盘驱动器(HDD)的随机IOPS可以达到70,而高端SAS硬盘型号的随机IOPS可以达到300。该SSD产品是一款PCI-Express外设卡(PCIe),平均访问延迟低于50微秒,而相比之下,硬盘的平均访问延迟是4.5毫秒,即4500微秒。
SSD在过去几年里一直在迅速发展,现在似乎已经到了一个阶段,在某些应用上它们可以胜过HDD。SSD提供的关键优势包括:
阻碍SSD应用的最大障碍是价格——64 GB SSD的价格仍然约为同等存储容量HHD的4倍。然而,任职于Ars Technica的Jon Stokes指出,由于数据中心的散热和耗电引起更多的关注,SSD相较于HDD更低的运营成本导致两种解决方案的总体价格也非常接近。Stokes同时也警告:
但是,不是每个数据中心都能够照搬MySpace昂贵的削减硬件的壮举。作为一个社交网络平台,MySpace本质上是一个存在大量并发连接的大型数据库应用程序。MySpace的工程师声称,放在ioDrive上的数据库部分运行起来就像缓存在内存上面一样快。一位参与了上述 SSD讨论的人士透露,即使以目前SSD的价格,SSD对于受性能限制甚于容量的数据中心是很有意义的,而MySpace则颇受性能限制。
来自Amazon Web服务团队的James Hamilton认为仅凭节能使用SSD的理由尚显牵强。他认为,对于IOPS非常高的工作,或者在数据不能写入磁盘,必须缓存在内存(RAM)里面的情况下,SSD是一项替换硬盘的伟大技术。由于内存是有限的,而且相对于硬盘和SSD仍然昂贵,应用SSD处理这样的工作是有意义的。但是,并非所有的数据都需要SSD,他在文章“用SSD替换掉所有的硬盘?”里面解释了他的理由:
但是,在我曾经工作或参观的每家公司,存在于磁盘上的绝大部分数据都是“死寂”的。安全和审计日志、备份、启动盘、档案副本、调试信息,以及很少访问的大对象。把这些没有特殊访问速度要求的“死寂”数据放在闪存上面没有意义。这些数据更关乎容量,而不是IOPS,而通过闪存获取容量的代价颇为不菲。
无论是全部或部分更换硬盘存储,SSD技术都是数据中心运营工具箱中的优秀工具之一。出色的吞吐量和可靠性使其成为追逐高IO负载的理想的硬盘替代品,人们有理由期待存储单元的价格不断降低,技术本身不断发展和成熟。
查看英文原文:MySpace Replaces Storage with Solid-State Drive Technology in 150 Standard Load
译者 金明 是ThoughtWorks咨询师,SCJP,系统分析师。关注敏捷方法学,特别是敏捷实施和项目管理的实践。
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
Jeffrey Richter以其多本Windows核心技术的经典著作而闻名,同时,他深入掌握微软的.NET等一系列核心技术,2012年1月,Jeffrey Richter在北京接受了InfoQ中文站的专访,谈到Windows 8和WinRT编程,并就异步编程、Windows编程中的可扩展性、性能和安全性方面给出自己的建议。
云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。
淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011。
2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。
12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011。
篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011。
本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。
4 条回复
关注此讨论 回复