BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Hortonworks在壮大:新增对Kafka的支持

| 作者 李士窑 关注 0 他的粉丝 发布于 2014年9月4日. 估计阅读时间: 2 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

据Gigaom消息透露,Hortonworks已将Apache Kafka加入其Hadoop软件平台的技术预览版中。尽管Kafka相对于Spark在流行度方面稍有逊色,但是它也能够被广泛运用于一些大型互联网公司的应用架构中。同时,它还提供了大数据的云存储、处理和分析等服务,能够应对多种来源和多格式的大数据。Kafka最初是由LinkedIn设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统,并可用于将Web应用消息快速传递到合适的数据服务中。Kafka集成其他数据服务架构如下图所示:

在整合Kafka之前,Hortonworks就考虑到了Hadoop的批处理设计以及广大用户的需求。 于是,Hortonworks就在其Hadoop软件平台中集成了Apache Storm实时计算系统和Spark并行处理框架,可以看出Hortonworks在发展大数据技术的同时,正在向快数据技术发展,以迎合那些需要拥有自己大数据基础架构、工程导向的公司,包括已经拥有先进的数据架构的企业,以及新一批的Web创业公司,甚至包括一些传统企业。

增加对Kafka的支持看上去似乎是不起眼的举措,Hortonworks却能籍此与竞争对手(如Cloudera和MapR等)形成差异化的优势。尽管Cloudera和MapR在自己的产品中也整合了不少开源工具,但它们的收入主要依赖专有软件的授权费用;而Hortonworks的业务策略是通过推广百分百开源的产品,获取更多用户,并在用户开始大规模部署时收取服务费用。故Hortonworks看上去对那些需要Storm、Kafka、Spark、Hadoop等开源技术的客户来说更有吸引力。

另外,据Hortonworks CTO Eric Baldeschwieler透露,Spark在不久的将来会取代Hadoop中的MapReduce,成为大数据生态圈内编写和分享算法的标准平台。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT