BT

分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート

| 作者: Srini Penchikala フォローする 40 人のフォロワー , 翻訳者 編集部T _ フォローする 0 人のフォロワー 投稿日 2018年7月23日. 推定読書時間: 3 分 |

原文(投稿日:2018/06/25)へのリンク

オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。

新しいリリースには、他に次の機能が含まれている。

  • Apache BookKeeperのバージョン4.7へのアップグレード
  • パフォーマンスの向上
  • Pulsar 2.0より前のリリースとの互換性

Pulsar関数: このストリームネイティブ処理機能は、今年初めにプレビュー機能として発表された。Pulsar関数は軽量の計算プロセスである。Pulsar関数によって、外部システムやアドオンを必要とせずに、Pulsarを流れるデータに変換と分析を直接適用できる。メッセージが入力トピックにパブリッシュされるたびに実行される。

スキーマレジストリ: スキーマレジストリはデータ駆動型アプリケーションの開発を簡素化するものである。簡素化のために、開発者にPulsarを流れるデータの構造と完全性を定義し、検証する機能が提供されている。スキーマレジストリは、クライアントがトピックごとにデータスキーマをアップロードできるようにする組み込みレジストリをサポートしている。これらのスキーマによって、どのデータ型がそのトピックに対して有効と認識されるかを決定する。スキーマレジストリは、現在、Javaクライアントに対してのみ使用可能である。

トピック圧縮: これは、パフォーマンスを向上させるストリーミングデータストレージ用のApache Bookkeeperソリューションと連携する、Pulsarの新しい拡張機能である。トピック圧縮は、Pulsarブローカで実行され、トピック内の各キーに対して最新の値のスナップショットを作成するプロセスである。トピック圧縮プロセスは、トピックのバックログを読み取り、圧縮されたバックログ内の各キーに対する最新メッセージのみを保持する。非破壊的なため、元のバックログを必要とするユーザがそれを引き続き利用できる。ユーザは、RESTエンドポイント経由で手動でトリガすることで、トピック圧縮がいつ行われるかを制御できる。

InfoQはMatteo Merli氏と、Pulsarフレームワークとその製品ロードマップについて話した。同氏は、Streamlioの共同設立者であり、Yahooにいる間はPulsarのアーキテクトおよびリード開発者であった。

InfoQ:Pulsarは他のメッセージングフレームワークとどのように違いますか?

Matteo Merli:  他の多くのフレームワークと同様に、Pulsarはさまざまなクライアントからアクセスできる分散型メッセージング機能を提供します。Pulsarは、他のフレームワークにあるコストと複雑さがなく、最新のデータ駆動型アプリケーションと分析の要件に対応できるようにする機能を備えています。具体的には、スループット向上とレイテンシ改善、スケーラビリティ、ストリームネイティブ関数処理、パブリッシュ/サブスクライブメッセージングとメッセージキューイングの両方、マルチデータセンターレプリケーション、セキュリティ、リソース管理のサポートが含まれます。

InfoQ: Pulsar製品ロードマップと今後の機能は何ですか?

Merli: オープンソースプロジェクトとして、Apache Pulsarのロードマップは、コントリビュータとユーザから成るPulsarコミュニティによって形成されている。すぐにリリースされる予定の現在の開発作業には、追加のアクセスインターフェイス、データソースとリポジトリへのコネクタセットの拡張、多層ストレージ機能の提供強化、サポートされているスキーマ形式の拡張セットが含まれます。

Pulsarチームは先週2.0.1のバージョンをリリースした。これには、Pulsarプロキシによって提供されるPyPIおよびREST APIに関するPythonパッケージの修正が含まれる。新しいリリースの詳細については、PulsarのWebサイトのリリースノートを参照してください。

Rate this Article

Adoption Stage
Style

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション
BT