BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Storm 0.9.3支持与HDFS、HBase的集成

| 作者 谢丽 关注 9 他的粉丝 发布于 2014年12月10日. 估计阅读时间: 3 分钟 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

Apache Storm 0.9.3发布,虽然只是一个维护版本,但它不仅改进了与Apache Kafka的集成,还提供了与HDFS、HBase的集成,并减少了依赖冲突。此外,它还修复了100多个Bug,使其稳定性更好。具体改进如下:

  • 改进与Kafka的集成——Apache Strom自0.9.2-incubating版本以来就支持使用Apache Kafka作为流数据源。0.9.3版本进行了若干改进,其中包括向一个或多个Kafka集群或Topic写入数据。现在,Storm用户可以将Kafka用作流数据的源和目的地。这一点考虑了拓扑间通信、拓扑链、基于spout/bolt的拓扑与基于Trident的数据流之间的结合以及与支持从Kafka获取数据的任何外部系统的集成。更多信息请查看storm-kafka项目文档
  • HDFS集成——Apache Storm的HDFS集成包含多个bolt和Trident state实现,允许拓扑开发人员从任何Storm拓扑向HDFS写入数据。更多信息请查看storm-hdfs项目文档
  • HBase集成——Apache Storm的HBase集成包含若干组件,允许Storm拓扑实时地向HBase写入数据及查询,并允许用户将HBase中的数据资产作为流数据查询,以及将HBase用于保存流计算结果。更多信息请查看storm-hbase项目文档
  • 减少依赖冲突——在Storm的先前版本中,用户拓扑的依赖项经常与Storm使用的库相冲突。Storm 0.9.3更改了多个经常导致冲突的依赖包的存放位置,详细信息请查看发布说明
  • 改进多语言——Storm 0.9.3包含一个新的Node.js多语言实现,允许开发人员使用JavaScript编写spouts和bolts。此外,多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言API发生了向后不兼容的变化。因此,在升级之前,使用了多语言拓扑的用户应查看Python、Ruby和JavaScript的多语言示例以确定其影响。

感兴趣的读者可以从这里下载。更详细的信息请查看更新日志


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT