BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Kylin:来自eBay的OLAP分析引擎

| 作者 李士窑 关注 0 他的粉丝 发布于 2014年10月16日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Kylin是一个开源、分布式的OLAP分析引擎,它由eBay公司开发,并且基于Hadoop提供了SQL接口和OLAP接口,能够支持TB到PB级别的数据量。从Kylin官网得知,它具有以下特性:

  • 超级快的OLAP分析引擎,并具备较强的可伸缩性

    Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。

  • 为Hadoop 提供 ANSI-SQL 接口

    Kylin为Hadoop提供了ANSI-SQL接口,并且支持大多数的ANSI-SQL的函数。

  • 交互式查询能力

    用户能够通过Kylin在秒级别的延迟状况下同Hadoop进行交互,并且对于相同的数据。集效果优于Hive的查询

  • 多维联机分析处理数据仓库(MOLAP Cube)

    用户能够定义数据模型,并且通过Kylin能够预建超过10多亿行原始数据记录的数据模型。

  • 数据模型可与其他 BI 工具无缝集成

    目前,Kylin提供了同BI工具无缝集成的功能,如Tableau。

  • 其他值得关注的特性

    具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。

支持Kylin能够良好运行的生态系统包括以下组成部分:

  • Kylin的核心部分

    Kylin的OLAP引擎框架包括元数据引擎、查询引擎、作业引擎、存储引擎以及用来处理客户端请求的REST服务器

  • 可扩展的组件部分

    包括支持更多功能的插件,如HBase的Coprocessor、Hive等。

  • 集成的组件部分

    生命周期管理器支持集成作业调度器、ETL工具、监控和报警系统。

  • 用户界面部分

    允许第三方用户基于Kylin 核心组件定制自己的用户界面。

  • 驱动部分

    ODBC和JDBC 驱动能够支持不同的工具和产品,如Tableau。

Kylin是开源的OLAP分析引擎,OLAP即联机分析处理,它能够帮助分析人员、管理人员或执行人员从多角度快速、一致、交互地存取信息和更加深入的了解信息。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。目前,比较著名的开源OLAP分析引擎还有LemurMondrian。Lemur是用C++编写的面向混合型联机分析处理(HOLAP)的引擎,它能够被其他语言的程序所调用,支持切片、切块和旋转等基本操作。Mondrian是用JAVA编写的面向关系型联机分析处理(ROLAP)引擎,它符合XML和XMLA协议,可以完成异构平台下的数据通信。Mondrian被设计运行在关系数据库上,提供基于JAVA 的API供应用程序调用展示结果。 另外,Kylin的源代码托管在GitHub上,更多Kylin相关信息,读者可登录其官网或者GitHub查看。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT