Apache Kafka を搭載したイベントストリーミングプラットフォームを提供する Confluent, Inc.はこのほど、Confluent 社の標準クラスタと専用クラスタ向けに Infinite Storage オプションを提供することを発表した。この提供は、Project Metamorphosis イニシアチブの一環だ。これは最新のクラウドのプロパティで Kafka を実現することに焦点を当てた。7月にリリースされる Infinite Retention により、企業は無限のストレージと保持によりすべてのイベントデータをリアルタイムに処理し、履歴分析が可能な一元化したプラットフォームを持てる。
Confluent 社の共同創業者である Jun Rao 氏は、Apache Kafka がイベントストリーミングの標準になっていることをブログで説明した。データ保持期間の要件が増加すると、それに応じてハードウェアコストも増加する。Kafka オペレータがこのトレードオフに対処できるように、Confluent Cloud は「無限に近い」ストレージのスケーリングを提供する。このアプローチにより、顧客がデータを無期限に保持するための柔軟性が高まる。Datanami によると、Confluent のグループプロダクトマネージャーである Dan Rosanova 氏は、「これは、唯一の保存量や保持時間に制限がない完全なマネージドイベントストリーミングサービスです」と述べている。
履歴データの必要性に踏み込むと、Rao 氏はさらに詳しく、デジタル化されたデータを保存するあらゆるタイプのシステムにとって、Kafka は信頼できる唯一の情報源であると述べた。これらのソースシステムやアプリケーションは、付加的にリアルタイムで Kafka からデータを取得する。より良い洞察を得て、より良い体験を提供するために、コンテキストの豊富なアプリケーションは、リアルタイムの(現在の)データに加えて、過去のデータが必要だ。これに対処するために、履歴データは通常、別々のシステムで管理される。それは、開発者は2つのAPI セットを使用する必要がある。Apache Kafka は 7 日間しかイベントを保持できないため、これはデータバランシングの課題が発生する。この最新の提供により、金融機関のような組織は、数年間 Kafka にデータを保持できる。Infinite Retentionを備えた機械学習モデルは、過去のデータに基づいてリアルタイムで予測を行うために訓練できる。
Confluent は Kafka がレコードのデータベースとして使えることを強調しているように見える。リレーショナル OLTP (オンライントランザクション処理)プラットフォームと同様に、Kafka もトランザクションデータの永続的なデータベースストアとして機能するようになった。例として、ニューヨーク・タイムズ紙は kafka を信頼できる情報源とし、1850 年代に遡る 160 年間のジャーナリズムを保存している。Rao 氏はさらに次のように予期した。
「Kafka のデータが数ヶ月、数年、または無限に保存できると想像してみてください。上記の問題は、もっと簡単な方法で解決できます。すべてのアプリケーションは、1つのシステム - Kafka - からデータを取得するだけで、最近のデータと過去のデータの両方を取得できます」
この考えを拡大して、Confluent の CEO である Jay Kreps 氏は次のように述べている。
「履歴データのコンテキストがなければ、リアルタイムの出来事に対して正確で意味のある行動を取ることは難しい。Confluent Cloud の Infinite Retention により Apache Kafka でイベントの保存・保持の制限を取り除いた。イベントストリーミングをビジネスの中枢神経として活用することで、アプリケーションは過去と現在のデータを無限の情報源から引き出し、よりスマートに、より速く、より正確になれます」
Confluent Cloud での既存の作業をベースにした Tiered Storage は、今年初めに Confluent Platform のプレビューとしてリリースされた。Tiered Storage は、「Infinite Storageのナット&ボルト」と呼ばれる機能を提供している。この機能は、異なるストレージ実装間で Kafka のデータを移動させる役割を担っている(それぞれパフォーマンスとコストの特性が異なる)。現在は Amazon S3 のみをサポートしているが、Confluent は Tiered Storage が「費用対効果、使いやすさ、パフォーマンスの分離を実現している」と主張している。