Cloudflareは最近、Cloudflare Data Platformのオープンベータ版を発表した。これは、Apache Icebergなどのオープンスタンダードを使用して、分析データテーブルを取り込み、保存し、クエリを実行するためのマネージドソリューションである。
今年初め、CloudflareはR2 Data Catalogのパブリックベータ版を発表した。これは、R2オブジェクトストレージ上に構築されたマネージドApache Icebergカタログである。最近、同社はCloudflare Pipelines、R2 Data Catalog、およびR2 SQLを組み合わせてCloudflare Data Platformを形成した。CloudflareのプリンシパルエンジニアMicah Wylde氏、シニアシステムエンジニアAlex Graham氏、およびスタッフソフトウェアエンジニアJérôme Schneider氏は説明した。
分析データは現代の企業にとって重要です。これにより、ユーザーの行動、企業のパフォーマンスを理解し、問題を警告できます。しかし、従来のデータインフラは高価で運用が難しく、固定されたクラウドインフラと社内の専門知識が必要です。私たちは、誰でも使いやすく、使用量に基づいた手頃な価格設定のCloudflare Data Platformを構築しました。
出典:Cloudflareブログ
Cloudflare Pipelinesは、WorkersまたはHTTPを通じて送信されたイベントを収集し、SQLを使用して処理し、それをIcebergテーブルまたはR2上のファイルとして保存する。R2 Data CatalogはIcebergメタデータを追跡し、現在ではクエリを高速化するための圧縮などの定期的なメンテナンス作業も処理する。R2 SQLは、R2内のペタバイト規模のデータセットに対する分散型サーバーレスクエリエンジンである。 Arroyoの元共同創設者兼CEOであるMicah Wylde氏はLinkedInで述べた。
6か月前、ArroyoはCloudflareに買収されました。当時は混乱が生じましたが、Cloudflareがストリーム処理エンジンを求めていた理由は何だったのでしょうか?答えは、私たちはデータプラットフォームを構築しているのです (...) Cloudflare Developer Platformは、完全なサーバーレスインフラを提供することで、何百万もの開発者がアプリを構築、運用、スケール可能にしました。Cloudflare Data Platformは、同じアプローチを取り、分析データインフラを誰にでも利用可能にします。
SQL変換は、データのスキーマ化や正規化、保存前の機密情報の編集などのユースケースに強力であるが、Pipelinesは現在、ステートレス変換のみをサポートしている。将来的には、CloudflareはArroyoのステートフル処理機能をさらに活用し、集計、インクリメンタルに更新されるマテリアライズドビュー、および結合をサポートする予定である。CDS UKのソリューションアーキテクトであるJamie Lord氏は、新しいプラットフォームの主な利点の1つである、データアクセスに対する標準的なCloudflareの「エグレス料金ゼロ」を強調した。
ゼロエグレス料金は、データウェアハウジングの経済学を根本的に変えます。Cloudflareの新しいData Platformは、この利点を活用して、AWSやGoogleの分析ワークロードに対する支配を挑戦します。このプラットフォームは、企業がデータ転送コストで出血しているという単純な真実に対処します。ペタバイト規模の運用では、分析のためにリージョン間でデータを移動するだけで年間数百万ドルを費やす可能性があります。Cloudflareはそれを完全に排除します。
McGaw.ioのエンジニアリングディレクターJoel Hatmaker氏はコメントした。
すでにパフォーマンスとセキュリティ機能のために、Cloudflare をご利用の場合、Cloudflare Data Platformは非常に魅力的に見え始めます。
Cloudflareは、Logpushとの統合、Workersを介したユーザー定義関数、およびR2 SQLでの集計と結合は2026年前半に予定していると主張している。
Pipelines、R2 Data Catalog、およびR2 SQLを使用してエンドツーエンドの分析データシステムを作成するためのチュートリアルが利用できる。Pipelines、R2 Data Catalog、およびR2 SQLはオープンベータ期間中は課金されないが、クエリによって発生するストレージおよび操作は標準料金で請求される。