BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

为什么要选择Apache Pulsar(一)

| 作者 Matteo Merli 关注 0 他的粉丝 , Karthik Ramasamy 关注 0 他的粉丝 ,译者 薛命灯 关注 23 他的粉丝 发布于 2017年11月27日. 估计阅读时间: 6 分钟 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

Apache Pulsar是由Yahoo开发并开源的下一代发布订阅消息系统。Pulsar用于解决现有开源消息系统的不足,并已在Yahoo的生产环境中运行了三年多时间,助力Yahoo的主要应用,如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo的分布式键值存储系统Sherpa。Pulsar于2016年底开源,目前是Apache软件基金会的孵化器项目。在这篇文章里,我们将介绍Pulsar的一些主要特性。

上一篇文章中,我们介绍了Pulsar的一些组件概念和术语。Pulsar集群主要由三部分组成:broker集群,bookie集群,以及用于协调配置管理的ZooKeeper集群。Pulsar broker组件用于接收、保存和传递消息。bookie是Apache BookKeeper服务器,为Pulsar提供持久性的存储,一直到消息被消费掉。架构图如下所示。

图1 Pulsar集群架构图   

灵活的消息模型

传统的消息模型有两种:队列模型发布/订阅模型。队列是一种点到点的通信模型——可能有多个消费者从服务器上读取消息,而每个消息只会被发给其中的一个消费者——因此,数据的处理可以被分摊给多个消费者,从而获得伸缩性。发布/订阅是一种广播式的通信模型——消息被广播给所有的消费者。

Pulsar通过统一的API实现了这两种模型——生产者向主题(topic)发布消息,消息被广播给不同的订阅者,消费者订阅主题以便消费消息。消费者可以灵活地选择消费消息的方式——独享方式、共享方式或失效备援方式。对于队列模型来说,如果采用共享方式,并使用了轮询策略,那么应用程序就可以将负载分摊给消费者。与其他消息系统不同的是,Pulsar允许活跃消费者的数量超过主题分区的数量。

因为Pulsar使用BookKeeper作为流式存储组件,所以它也对外提供了一组流式Reader API来读取底层的日志,应用程序可以调用这组API从任意位置开始消费消息。

灵活的部署模型

Pulsar可以被灵活地部署到不同的环境里,它可以运行在裸机上、本地或云端的Kubernetes集群上、Google Container Engine和AWS上。Pulsar也可以作为单独节点运行,用于开发和测试。在这种情况下,Pulsar broker、bookie和ZooKeeper都以独立进程的方式运行。

多租户

Pulsar在一开始就被设计成可以在私有云和公有云上部署的托管服务,其他的开源消息系统都没有提供这种特性。对于大中型企业来说,共享一个Pulsar集群要比让每个团队都使用自己的集群成本低得多。虽然每个团队可以自己部署集群,但这要求他们对系统内部原理非常了解,知道如何配置、监控和诊断问题。另外,在整个组织内共享一个集群可以降低成本,因为集群资源可以得到更好的利用,只需要一个DevOps团队就足以应付所有的工作,而且可以根据负载高峰期和项目增长作出容量规划。

多地域复制

与其他消息系统不一样的是,Pulsar将多地域复制作为首要特性。用户只需要配置好区域,并启用跨集群消息复制,剩下的事情由Pulsar来完成。数据会持续不断地被复制到远程的Pulsar集群上。如果数据中心之间发生网络故障,数据会被保存下来并进行重试,直到复制成功为止。

Pulsar可以在不同地理区域的多个数据中心上进行并行的数据复制。Yahoo的键值存储系统Sherpa使用Pulsar来复制预写式日志(WAL),日志被复制到十个不同的地理区域,实现最终一致性。多地域复制方式也很灵活,可以在私有云之间复制,也可以在私有云和公有云之间复制,或者在公有云之间复制,甚至在数据中心和私有云(或公有云)之间复制。对于想要迁移到云端的大型组织来说,他们可以将Pulsar部署到多个不同的云上,然后在多个云之间复制数据。

持久性

Pulsar在收到消息并进行确认之后,它可以保证数据不会因为各种故障而丢失掉。持久性保证强度由保存数据的磁盘数量来决定,而磁盘数量则由配置的“9”的个数来决定。Pulsar使用bookie来保证持久性,在收到一个消息之后,它将消息发送给多个bookie节点。bookie节点在收到消息后,将它保存到内存里,同时也往WAL里写入一份。bookie在向broker发送确认之前会将日志强制写入稳定的存储。与数据库的事务类似,WAL可以保证数据不会丢失,即使机器出现故障。在重启机器后,通过重放WAL就可以恢复数据。

除此之外,即使有多个节点发生故障,消息仍然不会丢失。Pulsar将每个消息复制给多个bookie节点,并在若干个bookie(根据配置的复制系数)写入成功之后才会向生产者发送确认。这样可以保证在发生多个节点故障的情况下,仍然不会丢失数据。

得益于BookKeeper内部IO机制的优化,在保证强持久性的同时,Pulsar仍然能够提供很高的吞吐量和很低的延迟。

总结

Pulsar是下一代发布订阅消息系统,弥补了其他开源消息系统的不足。在这篇文章里,我们介绍了Pulsar仅通过一套API实现了灵活的消息模型——队列和发布订阅,还介绍了企业级的多租户特性、多地域复制和强持久性保证。在下一篇文章里,我们将介绍更多的特性,比如IO的读写隔离、伸缩性、安全和运维成熟度。

查看英文原文Why Apache Pulsar? Part 1

感谢杜小芳对本文的审校。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT