BT

新しい あなたは、アーリーアダプター?それともイノベーター?そんな皆様に、InfoQの新機能をご案内しています。詳細はこちら

Yahoo!がPub/SubメッセージングプラットフォームのPulsarをオープンソース公開

| 作者: Abel Avram , 翻訳者 吉田 英人 投稿日 2016年10月24日. 推定読書時間: 1分未満 |

原文(投稿日:2016/09/10)へのリンク

Yahoo!は,同社がいくつかのサービスで社内的に運用しているパブリッシュ-サブスクライブ(Pub/Sub)メッセージプラットフォームのPulsarを一般公開した。

Yahoo!の説明によるとPulsarは,複数のホストやデータセンタに水平スケール可能な,低レイテンシのPub/Subメッセージプラットフォームである。Yahoo!では2015年第2四半期から,メールや財務,Gemini Ads,Sherpa,SportsをPulsarで運用している。今回のオープンソース化によって,同社では,Pulsarが他のオープンソース製品と統合されて,広く利用されるようになることを期待している。Yahoo!社内では,10以上のデータセンタに展開されたPulsar上で,140万以上のトピックにわたる1,000億/日以上のメッセージを,平均5ms以下のレイテンシで発行している。Pulsarはメッセージの配信保証と2つの永続化コピー,メッセージリーダに対する自動カーソル管理,データセンタ間レプリケーションを備えている。

ひとつあるいは複数のクラスタ上で動作するメッセージ・アズ・ア・サービスを提供するようにPulsarをセットアップして,API経由で管理 — ユーザの追加と削除,コンピューティングおよびストレージ容量の追加,会計,監視など — することが可能だ。プロデューサとコンシューマの両クライアントはテナントとしてセットアップされ,Javaライブラリを通じて機能にアクセスできる。このライブラリはサービスディスカバリやメッセージデリバリなど,関連タスクの処理を行なう。

Pulsarはメッセージのプロデューサとコンシューマを仲介するものとして,トピックという概念を採用している。プロデューサはトピックに対してメッセージを同期的に,あるいは非同期的に発行する。メッセージはバッチ処理や,圧縮(LZ4, ZLIB)することも可能だ。クライアントはサブスクリプションした上で,これらのメッセージを取得する。サブスクリプションには排他,共有(ラウンドロビン),フェールオーバといった指定が可能だ。

Pulsarはメッセージの配信を保証するために,Apache BookKeeperの台帳を使用して,堅牢なストレージにメッセージを保存する。レイテンシを可能な限り低く保つため,読み込みと書き込みは物理的に異なるディスクに分散される。Yahoo!では,ブックマーク用のジャーナルデバイスにSSDを使用することによって,Pulsarが,“2つの保証付きコピーと全体のオーダリングを伴った状態で,99パーセントを5ms以内”に処理できる,としている。

将来的には非永続的メッセージのサポート,メッセージブローカ間のトピック移行時間を現行の10秒から1秒以下に削減,発行されたメッセージの99.9パーセント(現在は90パーセント)に対する5ms以下のレイテンシ保証,Java以外のクライアント言語のサポートなどが計画されている。

 
 

この記事を評価

関連性
スタイル
 
 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT