BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

William McKnight谈面向列的数据库

| 作者 Srini Penchikala 关注 34 他的粉丝 ,译者 高翌翔 关注 0 他的粉丝 发布于 2011年9月12日. 估计阅读时间: 3 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

对于某些业务用例而言,面向列的数据库(columnar database)可提供比传统的关系数据库管理系统(RDBMS)更好的数据存储能力。在不久前召开的NoSQL Now 2011大会上,William McKnight针对面向列的数据库以及如何在某些数据存储需求下有效地利用它们进行了演讲

他说,使用RDBMS作为解决方案(此类解决方案都是基于行方式设计的。)的数据查询会发送大量数据。数据输入/输出(I/O)已成为目前数据处理需求中的真正瓶颈,更好的情形是,当你在那儿的时候能获得更多数据。为了避免这个问题唯一要做的就是解决输入/输出瓶颈,这才是你真正需要做的事情。面向列的数据库提供按需挑列的能力,而不是先获取整行,当数据检索完成后其中多列(开销)又不用。在要求工作负载只占整列字节数很小百分比的使用情况下,面向列的数据库可提供更好的解决方案。

在面向列的数据库中,数据存储在所有列保持同一顺序的多列中。William讨论了关系数据库记录的数据页面布局,并与列数据库表进行了比较。在这种行页设计(在RDBMS数据库中)中存在一些开销,因为进行数据查询时会用到行扫描或索引扫描,而且让所有数据都参与其中可能是个昂贵的选择。他展示了一个数据查询实例,在基于行的数据库中完成此查询用了50万次输入/输出,而在面向列的数据库中仅用了235次输入/输出。

有许多不同的面向列的数据存储选项可供使用,例如,分解存储模型(Decomposed Storage Model)、位置表示法(Positional Representation)、改良的B树/行长度加密(Modified B-Tree/Row Length Encryption)、以及位图(Bitmap)。他还谈到了物化(materialization)策略,其中包括“投影”功能(Function of 'projection')、早期和晚期物化(Early and Late Materialization)。

一些面向列的数据库厂商有VerticaParAccelSybase IQInfoBright、Exasol、VectorWise,还有些开源产品,例如MonetDBInfiniDB

William说,基于关系行的数据仓库(data warehouse)和数据集市(data mart)将仍然存在。除了数据仓库和Hadoop之外,你将拥有以快得多的速度来处理数据的面向列的数据库。他在结束发言时说道,数据库设计者应该从良好的设计原则入手,然后决定你想把数据放在基于行还是基于列的解决方案中。

查看英文原文:William McKnight on Columnar Databases

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

这翻译水准 by Chen Jackie

columnar database == 列存数据库啊大哥

Re: 这翻译水准 by 江南 白衣

不知者不罪,这个比较偏门的东西,不能保证谁都会。但的确应该改一下标题,列存储数据库。

Re: 非常感谢您的热心指正 :) by 高 翌翔

首先,非常感谢Chen Jackie和xiu calvin的热心指正 :)

经考虑再三,最终未采用【列存数据库】(Chen Jackie建议)或【列存储数据库】(xiu calvin建议)的译法,
而是译为【面向列的数据库】,主要原因如下:

1) 原文中columnar database被链接至维基百科的“Column-oriented DBMS”,而且在维基百科中查询“columnar database”或“column store”都被导向至“Column-oriented DBMS”词条,可见“Column-oriented DBMS”是正式名称,而其他两种都是同义词或别名。

2) 参考了InfoQ以往新闻中对column oriented database的译法,例如 面向NoSQL数据存储的Hibernate对象映射 一文曾使用了【面向列的数据库】的译法。

Re: 这翻译水准 by david liu

Actually, I like the '面向列的数据库' better.

Re: 其中另有隐情 by 高 翌翔

第一次发布时,我将“columnar database”直译为【柱状数据库】,
幸得Chen Jackie和xiu calvin热心指正,此错误才得以修正,实在惭愧。

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

5 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT