InfoQ

新闻

优化使用BigTable的原则与方针

作者 Sadek Drobi译者 郭晓刚 发布于 2008年6月29日 下午9时28分

社区
Architecture
主题
性能和可伸缩性,
数据库设计
标签
数据库

从围绕着Google App Engine的大量讨论中,Todd Hoff总结出了一组优化使用分布式及高可伸缩性存储系统——如BigTable——的指导原则

Todd从定义BigTable的适用范围开始论述。由于BigTable引入的各种代价,只有在以下情况下使用BigTable才能带来益处:a)需要伸缩到巨量的用户数,b)更新与读取操作相比比例很小。Todd还着重强调为了“优化读取速度和可伸缩性”,所采取的理论路线与关系数据库中的做法存在根本的分歧,很可能初看起来是违背直觉甚至相当冒险的。

关系数据库的世界是以防止错误为根基的;以正规化(normalization)为工具消除重复和防止更新异常。为了提高可伸缩性,数据应该重复而非正规化。Flickr久悬着了这种路线,决定让“评论重复出现于评论者和被评论者两个用户数据分片中,而非单独建立一个评论关系”,因为“如果把用户数据分片作为可伸缩性的单元,就没有地方放置这种关系”。因此,虽然去正规化(denormalization)违背了“关系数据的伦理”,但它是BigTable数据范式不可缺少的组成部分。

在以上论述的基础上,Todd针对优化使用BigTable存储系统总结了若干必须牢记的原则:

  • 假定数据访问是较慢的随机访问而非较快的连续访问。

因为“在BigTable里数据可能放在任何地方[……],平均读取时间可能相对较高”。

  • 为并发读取对数据进行分组

为了最大程度提高并发读取,应该去正规化。也就是说,“应该改变实体的存储方式,使得一次读取操作即可读出整个实体,避免执行会导致多次读取的join操作”,并且“将属性复制到需要使用它们的地方。”

  • 磁盘和CPU都很便宜,不要再为它们操心,尽力提高可伸缩性吧

“[……]你的应用可以任意地扩大规模,只要简单地增加新机器就可以了。所有可伸缩性瓶颈都已消除。”

  • 围绕数据的用途来决定数据的结构

要提高查询速度,数据的格式应该尽可能与数据被使用时的格式接近。因此Hoff主张用“以应用为出发点的实体取代SQL集合”。必须强调“这种方式不同于面向对象的数据库”。行为不是绑定到实体上的,而是由应用提供的,“多个应用可以读取相同的实体,却实现截然不同的行为”。

  • Compute attributes at write time.

这样可以“最小化读取时的工作量”,并能防止“应用程序遍历大量的数据”,因为这种操作是低效的。

  • 创建大型的实体,允许可选的字段

放弃正规化和建立大量小实体的旧做法,应该“创建大型的实体,允许可选的字段,以便一次操作即可读取出全部需要的数据,运行时再确定存在那些字段”。

  • 在模型中定义Schema

为了在去正规化的条件下,保证数据跨多个实体的一致性,schema必须“在代码中定义,因为那是唯一能跟踪所有关系和保证数据正确性的地方。”

  • 用Ajax隐藏更新操作。

以小的增量更新数据库是有利的。

  • Put是昂贵的

由于“在一次查询中能执行的根新数量十分有限”,Todd建议“执行小批量的更新,并且由外部CPU来驱动。”

  • 按显式费用模型设计

“点击查询表单的OK按钮,表示你确定准备为GAE的数据库操作而付费。”

  • 将many-to-many关系包含到实体中,但减少关联元素的数量

由于“维护一个较大的列表相对低效”,所以应该“尽量将列表中元素的数量减到最小。”

  • 避免无限制条件的查询

Todd建议只显示某字段最新的少量记录,因为“大的查询伸缩性不佳”。

  • 避免出现对数据存储实体的争用

应该“避免全局计数器,即跟踪记录数量,且每次请求都要更新或读取的实体。”

  • 避免庞大的实体组

“对实体组的写入是顺序执行的”,因此最好“使用小的、局部的组”。

Todd Hoff对上面的每一条原则都给出了深入的解释,对其中一些原则还引用了来自GQL讨论组的例子进行详细解说。

查看英文原文:Principles and Guidelines for an Optimized Use of BigTable

相关赞助商

InfoQ中文站架构社区,关注设计、技术趋势以及架构师所感兴趣的话题,通过新闻、文章、视频访谈和演讲以及迷你书等为中国架构社区提供一流资讯。

没有回复

回复

独家内容

构建的可伸缩性和达到的性能:一个虚拟座谈会

这个由业界主要专家们参加的座谈会探究了在使应用程序具备尽可能好的伸缩性及性能的过程中所面临的挑战和思考过程。

OpenSocial的分析与实现

本视频主要对OpenSocial进行了分析,并对实现的方式进行了介绍。其中包括:OpenSocial的开发经验、Container Provider的技术准备、平台的构成要素、具体的规范、以及对未来的展望。

缓存系统MemCached的Java客户端优化历程

Memcached在大型网站被应用得越来越广泛,但是Java客户端并不多,本文作者基于现有的开源客户端进行了封装优化,并翔实记录了这一过程。

超越SOA:动态业务应用的新企业应用框架(2)

在他们文章的第二部分,作者探讨了动态业务应用的架构并介绍了资源容器的概念。他们示范了如何在JEE之上构建这个架构,以及它如何影响实现生产力。

使用ClickOnce细分发布版本

ClickOnce让WinForms应用程序的部署轻而易举。David Cooksey演示了如何在ASP.NET中编写一个HttpHandler来实现对ClickOnce部署的版本细分。

敏捷教练,从A到Z

敏捷带来了新的领导者角色,“敏捷教练”。它是不是跟“部门经理”或“技术领导”一样,只是换汤不换药呢?教练Pat Kua在这篇启蒙文章中对敏捷教练一职做了概述。

利用Ruby简化你的Java测试(进阶篇)

本文是Productive Java with Ruby系列文章的第二篇,通过上一篇的介绍,我想大家对如何利用Ruby进行单元测试有了一个基本的了解,从这里开始,我将和大家一起讨论一些利用Ruby进行单元测试时的高级话题。

书评:《应用SOA》

《应用SOA》是由四位一流SOA专家合著关于SOA的新书,其主旨是帮助你成功地实施SOA。尤其是,这本书将帮助你把你的SOA项目与企业架构、IT治理、核心数据和BPM项目结合起来。