BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

微软发布用于Kafka生态系统的Azure Event Hub公开预览版

| 作者 Steef-Jan Wiggers 关注 7 他的粉丝 ,译者 无明 关注 2 他的粉丝 发布于 2018年6月6日. 估计阅读时间: 4 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

看新闻很累?看技术新闻更累?试试下载InfoQ手机客户端,每天上下班路上听新闻,有趣还有料!

在Build 2018大会期间,微软宣布它将支持Kafka客户端与Azure Event Hub的集成。负责Azure Event Hub的微软工程团队为用户提供了一个Kafka端点,用以接入事件数据。

Event Hub是微软Azure的事件摄取服务,提供了一个高度可扩展的数据流平台。开发人员可以使用Event Hub代替Kafka集群,同时能够应用捕捉(Capture)、自动扩展(Auto-Inflate)和Geo灾难恢复等功能。Tom Kerkhove是来自Codit的Azure顾问,同时也是微软Azure MVP,他告诉InfoQ:

有了可以支持Kafka生态系统的Event Hub,我可以使用Kafka协议,无需考虑基础设施问题,可以专注处理自己的事件。

Kafka和Azure Event Hub都是可扩展的基于事件驱动的分布式消息平台,支持多个生产者和消费者。此外,两者都可用于处理由实时事件驱动的大规模流摄取。微软消息服务架构师Clemens Vasters在博文中表示:

从概念上讲,它们都是分布式、分区和复制的提交日志服务。两者都使用分区消费模式,为并行消费者提供大规模可扩展性。两者都使用了客户端游标概念,并可扩展到非常高的工作负载。

在创建Event Hub名称空间时启用Kafka端点就可以实现Kafka客户端应用程序与Event Hub的集成。



随后,在Kafka客户端,开发人员需要将参数切换到Kafka端点(即Event Hub名称空间的完全限定名)。此外,开发人员需要将安全机制设置为PLAIN,并将Event Hub连接字符串作为密码。

bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

请注意,用于Kafka生态系统的Azure Event Hub公开预览版支持Apache Kafka 1.0及更高版本。不过,预览版存在一些限制,比如缺少对幂等生产者(Idempotent Producer)、HTTP Kafka API和Kafka Streams等功能的支持。

在支持Kafka端点的同时,微软也推出了一个模拟Kafka功能的门面(facade)。 Pivotal产品高级总监Richard Seroter在最近的一篇博文中写道:

Azure Cosmos DB有自己的本地接口,但也有模拟MongoDB和Apache Cassandra的接口。 Azure Event Hub最近加入了Apache Kafka接口。如果你有使用这些接口的应用程序或工具,那么就可以很方便地使用Azure Event Hub。Azure不提供MongoDB、Cassandra或Kafka服务,但它们的第一方服务可以让你不必更改代码即可获得Azure的服务。这是一个很好的策略。

Kafka对Event Hub的支持目前仅在美国东部和西部地区可用,Event Hub的价格详情请参阅定价页面。此外,有关Kafka支持的更多信息可在微软文档“用于Kafka生态系统的Event Hub”上找到。

查看英文原文Microsoft Announces Azure Event Hubs for Kafka Ecosystems in Public Preview

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT