大规模视频网站的计费与流量管理
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
该内容已经被标记书签!
标记书签错误,请重试!
作者 Arnon Rotem-Gal-Oz 译者 胡键 发布于 2007年8月15日
正规化(Normalization)是数据库设计的基础之一。最近,关于正规化的一些讨论中正在形成一种观点,即将反正规化(Denormalization)作为一种更具伸缩性的解决方案。
几星期前,Pat Helland在其博客给出一个简短介绍,称“正规化适合于胆小鬼”。Pat一开始就声称(很明显)我们正规化是为了避免更新异常,但接下来做出了一系列有趣的短评:
作为另一个博客,你可以很容易驳回Pat的言论——除非你注意到Pat有与数据库系统长期为伍的经历,这包括,如作为SQL Server Service Broker的首席架构师、COM+团队的奠基人之一。Pat还花了几年时间为Amazon工作——并且Werner Vogels(Amazon的CTO)确实提过可以考虑反正规化实体,以得到更好的伸缩性和效率。这些言论是他在QCon上关于可用性和一致性(最近发布于此)的演讲中提及的。
Andres Aguiar评论说,除了“无需正规化不变数据”,你甚至都不需要删除数据:
另一个想法是,你事实上都不需要删除/更新数据库。“删除”一行意味着设置InvalidationTimestamp = now(),更新一行意味着设置InvalidationTimestamp = now()的同时新增一行,使其SinceTimestamp= now()且InvalidationTimestamp = null(你实际上需要两组日期,这将在另一篇帖子里讨论)。现在,如果你把两个想法合在一起,那么所有的数据都是不变的,所以你不需要正规化任何东西。
通过分析这一点,Andres提到一个障碍:这种情形下会使每张表产生大量数据行(译注:原文是column,但根据上下文的意思,应该是数据行才更有意义。),而数据库并未准备好应对这种情形。如果你归档更老的数据,那么它是可以得到解决的。
“数据库反正规化是一种效率优化,但这应该作为最后一道防线。应该在创建数据库索引、使用SQL视图和实现应用特定的内存缓存之后。”
然而,Dare认同:当你需要大规模计算时,你可能需要反正规化,并举Flickr为例。
正如Cal Henderson(Flickr的Web开发领导)在2004年关于Flickr架构演讲中所说的:Join效率低下(27页)。作为结论:
* 正规化的数据适合于胆小鬼
* 多处保存数据的多重副本
* 让搜索更快些
* 必须在应用逻辑中确保一致性
一篇由Jason Kottke于2004年撰写的博文中,表露出了与Pat的博文和Cal演讲中第一点类似的观点。Jason解释,在Flickr的情形中,每次Insert/Delete或Update会有13次Select,这是他们为什么选择反正规化的原因。
Pat在其介绍的结尾总结:
“人们正规化‘因为他们的教授这么说的’”
是时候反思数据库正规化的咒语了吗?一些更大的网站似乎这么认为,你的感觉呢?
查看英文原文:Data normalization, is it really that good?
译者 胡键 热心开源技术,《开源技术选型手册》作者,《SOA实践指南》译者。目前致力于Groovy/Grails的研究和推广。
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
Jeffrey Richter以其多本Windows核心技术的经典著作而闻名,同时,他深入掌握微软的.NET等一系列核心技术,2012年1月,Jeffrey Richter在北京接受了InfoQ中文站的专访,谈到Windows 8和WinRT编程,并就异步编程、Windows编程中的可扩展性、性能和安全性方面给出自己的建议。
云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。
淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011。
2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。
12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011。
篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011。
本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。
3 条回复
关注此讨论 回复