Azure Event Hubsは、クラウドでの要求の厳しいビッグデータのストリーミングやイベント収集のニーズに対応すべく設計された、Microsoftのリアルタイムイベント収集マネージドサービスである。そのMicrosoftが毎年開催するBuildカンファレンスの期間中に、弾性と高いパフォーマンス、予測可能なレイテンシを必要とする、ハイエンドなイベントストリーミングシナリオに最適な新しいプロダクトSKUとして、Event Hubs Premiumの公開プレビューが発表された。
出典: https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-about
Event Hubsに新たに加わったこのpremiumサービスは、リソース分離の可能なマルチティアサービスを備え、高スループットと低レイテンシをより高い予測性の下で実現するとともに、従来よりも数多くのKafkaワークロードに対して、従来よりも制限値を高めた拡張サポートを提供する。Microsoft Azure Messaging ServicesのシニアプログラムマネージャであるKasun Indrasiri氏が書いたMicrosoft Tech Communityブログの記事によると、premium Event Hubでは、コンピューティング、メモリ、ストレージのリソースを事前に予約することで、マネージド・マルチテナントPaaS環境におけるパフォーマンスの向上とテナント間干渉の最小化を実現している。Microsoftでメッセージサービスと標準を担当するプリンシパルアーキテクトのClemens Vasters氏が、さらに詳しい説明をInfoQに提供してくれた。
Event Hubs Premiumは、シングルテナントのように分離されたコンピューティングおよびメモリリソースと予約済のI/O能力の提供を、マルチテナントクラスタの中で実行するものです。マルチテナントのクラスタモデルには、任意のテナントの能力をフレキシブルに数秒でスケールアップおよびダウン可能である、ゾーンの大規模障害に備える上で必要な予備容量をテナント間で共有することができる、といったメリットがあります — これにより、Event Hubs Dedicatedモデルに比較して、コストを大幅に削減することが可能になるのです。
新たなPremium SKUの起源についても聞いてみた。
Event Hubs Premiumは、2年以上にわたるAzure Event Hubsバックエンドの内部再設計の成果を基に、長期データ保管の手段として以前から使用されているAzure StorageとEvent Hubブローカおよびプロトコルゲートウェイロジックの間に配置されたストレージサービス層を新たに加えたものです。この新たな層は"ローカルストア"と呼ばれる、まったく新しいネイティブコードのログエンジンです。Azure環境のために開発され、Azure Service Fabricに深く統合されています。この新エンジンは、Azureアベイラビリティゾーンを跨いだイベントデータのレプリケーションとディスクフラッシュを、1ミリ秒以下で行うことができます。さまざまなブローカやプロトコルを搭載しており、送信者からのイベントの受信と認識を5ミリ秒以下で実行し、エンドツーエンド10ミリ秒以下で受信者にフローすることが可能です。
さらに氏は言う。
アベイラビリティゾーンを越えた分散ディスクフラッシュを伴う永続化によって、業界トップのパフォーマンスを備えています。さらなる時間削減のためのアイデアもすでに持っています。
さらにVasters氏は、もうひとつの重要な面についても言及した。
Event Hubsの再設計におけるもうひとつの重要な面は、Service Bus Premiumの実績あるプロセス/メモリ分離モデルを採用し、それをEvent Hubsに適合させたことです。Event Hubs Standardでは、大規模なマルチテナントクラスタを使用するために購入するスロットリング容量が"スループットの単位"になります。これに対してEvent Hubs Dedicatedでは、Event Hubs Standardを自分自身で運用する場合と同じように、完全に分離された単一テナントのクラスタ能力を賃貸することができるのです。アベイラビリティゾーンを越えて運用する場合は、8"容量ユニット"が最小サイズになります。
Azure Event Hubsによって、Microsoftは、マネージドApache KafkaプラットフォームConfluent Cloudを提供するConfluentや、マネージドKafkaサービスをAWSで実現するMSKといった、クラウド上の他のイベント収集サービスと競合することになる。その点についてVasters氏は、次のように述べている。
Event Hub PremiumはApache kafkaプロデューサに加えてAMQPもサポートしています — さらにレイテンシにアドバンテージを持つコンシューマAPIの提供により、ワークロードがAzure内にない場合でも、自身でログブローカ(Apache Kafkaを含む)を運用する方法の現実的な代替策となり得るのです。声高には言っていませんが、アウトバウンドデータ転送の料金はEvent Hubsには課されません。Event Hubsを同一カテゴリの他のPaaSと比較する場合には、コスト削減能力にぜひ注目して頂きたいと思います。
Event Hubs Premiumは現在、Azure Portalで試すことができる。Premium SKUは、現時点ではAustralia East、Canada Central、East US、North Europe、Southeast Asia、West Europe、West US 2のリージョンで使用できる — 料金の詳細はpricing pageで確認が可能である。最後にVaster氏は言う。
Event Hubs Premiumは現在公開プレビュー中で、今年の終わりまでにGAを予定しています。Event Hub Premiumは、ストレージバックエンドの新世代への打ち上げロケットです。今後1、2年間に、当社の他のメッセージングサービスも同じように加速することでしょう。