BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

HBase ORM SimpleHBase设计

| 作者 张信之 关注 0 他的粉丝 发布于 2014年6月7日. 估计阅读时间: 13 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

目前企业软件开发占据主流的开发模式为面向对象模式。无论是建立在集合论之上的传统关系型数据库,还是以CAP定理/Hadoop/BigTable为基石的HBase,都面临以下的基本问题:

  • 如何保存对象到数据存储?
  • 如何从数据存储获取对象?
  • 如何更新数据存储中的现有数据?数据存储的类型系统和开发语言(Java)的类型系统之间如何相互转换?

简而言之,数据存储如何提供增、删、改、查的服务能力,应用如何方便的使用该能力。关系型数据库给出的答案为SQL,JDBC和各种ORM框架(典型例子为Hibernate和MyBatis)。

HBase ORM

ORM即Object-Relational mapping,对于HBase而言不存在Relational,因此该名称不准确,只是ORM做为一个术语使用太过广泛,这里泛指数据存储和Object之间的映射。

HBase的设计和RDBMS差异较大,因此除了上一小节的问题外,还需要解决如下问题:

  • 如何映射HTable的RowKey?
  • 如何映射HTable的bytes到Java类型?
  • 如何映射HTable的多版本能力?

本文着重介绍HBase ORM SimpleHBase框架,并和另一个HBase ORM Phoenix(http://phoenix.incubator.apache.org/)做比较。

SimpleHBase简介

SimpleHBase(https://github.com/zhang-xzhi/simplehbase)是Java和HBase之间的轻量级中间件,主要包含以下功能:

  • 数据类型映射:Java类型和HBase的bytes之间的数据转换。
  • 简单操作封装:封装了HBase的put,get,scan等操作为简单的Java操作方式。
  • HBase query封装:封装了HBase的filter,可以使用SQL-like的方式操作HBase。
  • 动态query封装:类似于mybatis,可以使用xml配置动态语句查询hbase。
  • insert,update支持: 建立在HBase的checkAndPut之上。
  • HBase多版本支持:提供接口可以对HBase多版本数据进行查询,映射。
  • HBase原生接口支持。
  • HTablePool管理。

设计理念

Phoenix的设计理念为:We put the SQL back into NoSql。该理念的优点如下:

  1. SQL做为大众熟悉的API,用户学习成本较低。
  2. 减少程序员的代码开发量。
  3. 性能优化对用户透明。
  4. 兼容既有的基于SQL的工具。

该理念的缺点如下:

  1. SQL屏蔽了HBase和RDBMS设计上的差别,抽象泄露的风险较高。关于抽象泄露参考http://www.joelonsoftware.com/articles/LeakyAbstractions.html
  2. 为了SQL兼容,引入了JDBC层。由于RDBM和HBase的设计与模型本身差异较大,引入JDBC后,导致部分HBase的特性难以友好的支持。
  3. 大部分的应用不会直接使用JDBC,而是使用ORM,技术栈较深,导致抽象泄露问题更加严重。

SimpleHBase的设计理念为:贴近HBase的ORM设计,简化HBase之上的Java app开发。

该理念的优点如下:

  1. 设计紧贴HBase的逻辑模型,提供一站式HBase ORM解决方案。
  2. 减少程序员的代码开发量。
  3. 用户友好的HBase特征支持。

该理念的缺点如下:

1. 不兼容SQL,有一定的学习成本。

SimpleHBase和Phoenix的技术栈如下所示。

类型转换

Phoenix支持如下类型,目前不支持自定义类型。每种类型的序列化(转化为bytes保存到HBase中)和反序列化为固定的方式。

INTEGER

UNSIGNED_INT

BIGINT

UNSIGNED_LONG

TINYINT

UNSIGNED_TINYINT

SMALLINT

UNSIGNED_SMALLINT

FLOAT

UNSIGNED_FLOAT

DOUBLE

UNSIGNED_DOUBLE

DECIMAL

BOOLEAN

TIME

DATE

TIMESTAMP

UNSIGNED_TIME

UNSIGNED_DATE

UNSIGNED_TIMESTAMP

VARCHAR

CHAR

BINARY

VARBINARY

SimpleHBase支持如下类型。每种类型的序列化和反序列化方式,可以使用SimpleHBas提供的默认方式,也可以用户自定义。

boolean

byte

short

char

int

long

float

double

String

Date

Enum

用户自定义类型:

通过TypeHandler支持自定义类型扩展。

SimpleHBase的rowkey和类型映射如下:

RowKey支持

Phoenix把rowkey内化为table的PRIMARY KEY处理。

CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city));

同时,Phoenix的Salted Tables技术可以解决region server的热点问题。

SimpleHBase认为rowkey的设计是HBase应用设计中最重要的一环。因此,对于RowKey单独建模,给用户提供较高的灵活性。实际上,对于HBase而言,任何可以转换为bytes的对象都可以做为rowkey使用。

简单场景支持

对于简单的put,scan,delete场景。

Phoenix提供的方案为:

Java app -> ORM(可选) -> SQL -> phoenix -> HBase

SimpleHBase提供的方案为:

Java app -> SimpleHBase-> HBase

无需SQL这一层,直接用类似如下代码即可实现。

simpleHbaseClient.putObject(new PersonRowKey(1), person);

Person result = simpleHbaseClient.findObject(new PersonRowKey(1),

Person.class);

简单SQL支持

Phoenix做为HBase上面的SQL封装,这块的功能比较丰富。SimpleHBase提供SQL-Like方式的查询。支持常见的简单查询场景。目前,SimpleHBase提供的运算符如下:

lessequal

less

greaterequal

greater

notequal

equal

notmatch

match

in

notin

between

notbetween

isnull

Isnotnull

Ismissing

isnotmissing

and

or

()

复杂SQL支持

对于group by, join等较为复杂的SQL语法,Phoenix支持,SimpleHBase目前不支持。

动态SQL支持

动态查询可以避免应用代码中大量if-else之类的判断,拼接查询条件,提高代码质量。

Phoenix的方案:

引入其他ORM框架(如hibernate或mybatis)。

Simplehbase的方案:

类似mybatis,提供动态查询能力。

目前simplehbase提供的动态查询标签如下:

isNull

isNotNull

isEmpty

isNotEmpty

isPropertyAvailable

isNotPropertyAvailable

isEqual

isNotEqual

isGreaterThan

isGreaterEqual

isLessThan

isLessEqual

Dynamic

HBase时间戳和多版本支持

Phoenix方案:

时间戳,由HBase管理,或在connection建立时指定一个时间戳,该connection上所有操作就是基于该时间戳。

不支持多版本,只能支持最新值。

Simplehbase方案:

时间戳可以由HBase管理,或者由应用自行指定。版本数,可以选择最新版本,或者多版本支持,由应用指定。

rowkey

timestamp

name

Age

key1

t4

d

 

key1

t3

c

3

key1

t2

 

2

key1

t1

a

1

假设name和age映射为一个Person类型对象。SimpleHBase支持如下映射方式:

  • 一个rowkey对应的所有最新值映射为一个object。
    例:该数据被映射为Person(name=d,age=3)。
  • 一个rowkey对应的时间戳范围内(由用户指定)的最新值映射为一个object (Phoenix只提供一个时间戳,而不是时间戳范围) 。
  • 例:指定时间戳范围(左闭右开)为 [t1,t3),该数据被映射为Person(name=a,age=2)。
  • 一个rowkey对应的所有值,以时间戳为维度,映射成一个object list。
    例:指定maxVersion(控制最大版本数)为4,该数据被映射为一个person的列表,按照时间戳排序。
    Person(name=d)
    Person(name=c,age=3)
    Person(age=2)
    Person(name=a,age=1)
  • 一个rowkey对应的时间戳范围内的所有值,以时间戳为维度,映射成一个object list。
    例:指定时间戳范围为 [t1,t3),maxVersion为4,该数据被映射为一个person的列表,按照时间戳排序。
    Person(age=2)
    Person(name=a,age=1)

其他

SimpleHBase中包含了一些HBase特性的封装或增强。

如:

SimpleHBase支持批量put操作,以提升性能。

HTable的autoflush设置为false,同时,有一个线程定期做flush。既可以提高应用的吞吐能力,也可以有一定的flush保证。

小结

目前,SimpleHBase已经在阿里的多个项目中得到应用。从设计理念看,SimpleHBase并不是Phoenix的一个重复轮子,而是有着自己清晰的目标。即贴近HBase的ORM设计,简化HBase之上的Java app开发。同时,又可以把HBase的一些核心概念暴露给用户,方便用户对HBase特性的使用。

关于作者:

张信之,支付宝高级工程师,目前负责支付宝消费数据组,西安交通大学计算机科学与技术专业硕士。兴趣广泛,近期工作聚焦在HBase ORM框架Simplehbase上。


感谢谢良,梁堰波对本文的审校,包研对本文的策划。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

N多列存储为主的HBase搞什么ORM啊 by Xuan Yang

真是闲的蛋疼
有这闲功夫,干嘛不研究下更优秀的HBase二级索引方案,目前基于Scan和filter的查询,很多情况下会引起全表扫描,性能堪忧,没看到这个框架能解决这些问题。

Re: N多列存储为主的HBase搞什么ORM啊 by huang haosdent

童鞋你有空在这里喷,为啥不去多提交下Patch。二级索引现在HBase已经支持了。

"基于Scan和filter的查询,很多情况下会引起全表扫描,性能堪忧" 这明显是用户使用不当,设下startkey和stopkey就好了。MySQL用户使用不当都会引起严重的性能问题,任何软件都一样。

"N多列存储为主的HBase搞什么ORM啊"->童鞋你用过Simplehbase就知道了,方便,强大,快捷,上手成本低,降低HBase使用难度。不懂别瞎喷,让人看笑话!

划不来 by zhiqiang wang

为了orm而orm

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

3 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT