BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Kylin v1.6.0正式发布

| 作者 史少锋 关注 2 他的粉丝 发布于 2016年12月12日. 估计阅读时间: 4 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

Apache Kylin社区非常高兴地宣布,继1.5.0后的又一个主要发行版 v1.6.0于日前正式发布。

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力,支持对超大规模数据进行秒级查询。

Apache Kylin v1.6.0带来了更可靠更易于管理的从Apache Kafka流中直接构建Cube的能力,使得用户可以在更多场景中更自然地进行数据分析,使得数据从产生到被检索到的延迟,从以前的一天或数小时,降低到数分钟。

全新的流式构建引擎

全新的Apache Kylin流式构建引擎是在Kylin v1.5的"可插拔 "架构下的一个完美实现︰ 将Kafka主题视为一种数据源,实现相应的适配器,将数据先抽取、转换和保存到 HDFS,接下来使用各种Kylin的构建引擎(MR/Spark等)对数据进行并行计算 。

Kylin将开始/结束消息的偏移量(offset)计入了每个Cube segment,并使用偏移量作为分区值,从而对于早到达和晚到达的消息最终都能够被检索到,从而保证了查询结果的准确性。

此外,Kylin ODBC Driver也发布了新的1.6版本,对Tableau、PowerBI和Cognos BI有了更好支持。

在这一版本中Apache Kylin社区一共解决了102个issue,包括Bug修复,功能增强及一些新特性等。主要issue有:

[KYLIN-1726] - 可伸缩的流式Cube构建

[KYLIN-1917] - TopN性能增强

[KYLIN-1919] - 支持Kafka的嵌入格式的JSON消息

[KYLIN-2012] - 可靠同步hive表模式更改

[KYLIN-2054] - 支持更多Kafka消息的时间戳格式

[KYLIN-2055] - 增加Boolean编码

[KYLIN-2070] - 支持多segment并行构建/合并/刷新

[KYLIN-2082] - 支持更新流式表模式和配置的修改

下载安装:

下载Apache Kylin v1.6.0源代码及二进制安装包,请访问下载页面。

升级:

此版本的元数据向前兼容,请参考[升级指南](https://kylin.apache.org/docs16/howto/howto_upgrade.html)进行升级

获得支持

升级和使用过程中有任何问题,请:

提交至Kylin的JIRA: https://issues.apache.org/jira/browse/KYLIN/

或者

发送邮件到Apache Kylin邮件列表: user@kylin.apache.org和dev@kylin.apache.org

感谢每一位朋友的参与和贡献!

作者介绍

史少锋,Kyligence技术合伙人&资深架构师 Apache Kylin核心开发者和项目管理委员会成员(PMC),专注于大数据分析和云计算技术。曾任eBay全球分析基础架构部大数据高级工程师,IBM云计算部门软件架构师;曾是IBM公有云Bluemix dev&ops团队核心成员,负责平台的规划、开发和运营。


感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

by Liu Billy

支持Kafka是个很大的进步

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

1 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT