BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台

| 作者 Boris Lublinsky 关注 0 他的粉丝 ,译者 吴宇 关注 0 他的粉丝 发布于 2011年3月28日. 估计阅读时间: 4 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

 

两大主流BigTable开源实现之间的竞争——HBaseCassandra加速了DataStax推出其新产品,即Brisk,一款基于Cassandra的Hadoop分布式实现。DataStax产品副总裁Ben Werther谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web范围应用提供低延迟数据库,又能利用Hadoop提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing的CEO对此做了进一步解释

通过把Cassandra的能力——包括其简易性、可伸缩性和快速读写性——结合到Hadoop上,DataStax已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分Cassandra提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和DataStax小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当Cassandra的缔造者——Facebook——因为HBase强大的一致性特点而开始为其社交邮件产品放弃Cassandra转向HBase时,DataStax则选择了相反的一条道路,结合Cassandra和Hadoop。Ben Werther——DataStax产品副总裁对此说到

HBase成熟度没有Cassandra那么高,而且它构建在HDFS(Hadoop分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra可以为Hadoop堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra的设计初衷就是可以让部分Brisk基础设施关注于数据分析,而另一部分处理低延迟应用。当你往Hive里写查询语句或者使用Hive进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk包括了Hadoop MapReduce和Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容Cassandra提供的存储层,需要对Hadoop HDFS文件系统进行切换。同时,你还是可以使用Cassandra本有的功能:为实时应用设计的数据库。也就是说,Brisk不会消除一些Hadoop中的单点失效。根据开发者文档,Hadoop/Casssandra集群配置依然需要:

集群里应该提供一个服务器给如下Hadoop组件专用:
  • JobTracker
  • datanode
  • namenode
该专属服务器是必需的,这是因为Hadoop使用HDFS来存储你工作所需的JAR依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行MapReduce工作来说非常重要。

目前,Brisk还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文:Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

group是如何做到实时的阿? by Luo Brad

有点怀疑,类似于group的操作,如何做到实时阿?

期待技术层面的介绍 by sunly everly

“我们的想法是推出一款独一无二的平台,使其既能为“实时”web范围应用提供低延迟数据库,又能利用Hadoop提供的各种各样丰富的数据分析功能。” 怎么听着这么像积木组合的结果?

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

2 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT