Google社は先月開催されたApache Iceberg Summitで、BigQueryにおけるApache Icebergの新たな相互運用機能を発表した。サーバーレスのIceberg RESTカタログのプレビュー機能により、チームはデータを重複させることなく、BigQueryとSpark、Flink、Trinoといったエンジン間で同一のApache Icebergテーブルを作成・更新・クエリ実行をできるようになる。
このプレビュー機能により、データをコピーしたり独自のフォーマットに依存したりすることなく、複数のツールで同一のデータセットの処理が行えるようになる。Google社はさらに、Icebergの運用で手動対応が一般的だったメタデータ管理、テーブルメンテナンス、同期タスクに対するマネージドサポート機能も導入した。Google社のシニアプロダクトマネージャーであるYuriy Zhovtobryukh氏と、シニアプロダクトマーケティングマネージャーのAngela Soares氏は、その意義について次のように説明している。
現在レイクハウスを構築している場合、Apache Icebergを採用しているケースが多いでしょう。これは、同一のデータに対して複数のコンピュートエンジン(SparkやBigQueryなど)がアクセスし、異なるワークロードを処理する必要があるデータプラットフォームチームの間で急速に普及し、高い人気を獲得している。
Google社は直近のNext ’26イベントで、[Icebergの相互運用性をクロスクラウドのレイクハウスへと拡張した](Google has expanded Iceberg interoperability into a cross-cloud lakehouse)。これにより、AWS、Azure、Databricks、SnowflakeにまたがるIcebergカタログのクエリ実行や、AIワークフローにも対応する。Google社によると、全体の狙いは、企業がオープンフォーマットでデータを保持しつつ、同一のデータセットに対して複数の処理・分析ツールを利用できるようにすることにある。
Google社は、Apache Icebergを利用する多くのチームが、特にストリーミングデータやレプリケーションパイプライン、複数ツールにまたがるガバナンスの面で、フルマネージドなデータプラットフォームと比較して、依然として高いコストや運用の複雑さに直面していると指摘している。この課題に対応するため、Google社はBigQueryの基盤を拡張し、Icebergテーブルのサポートを強化する。具体的には、メタデータ管理のマネージド化、自動テーブルメンテナンス、トランザクション処理、変更データレプリケーションなどだ。Zhovtobryukh氏とSoares氏は次のように述べる。
これまでレイクハウスを構築してきたユーザーは、主なETLエンジンに応じて、Google管理のIceberg RESTカタログ上のIcebergテーブルを利用するか、BigQueryで管理されるテーブルを利用するかを選択していました。つまり、ETLにApache Sparkを利用してIceberg RESTカタログのテーブルを扱うユーザーは、BigQuery経由で書き込みを行えず、ストレージ管理機能も活用できなかったのです。
このプレビュー機能には、テーブルアクセス制御の一元管理機能も含まれている。これにより、異なるクエリエンジン間でも一貫した権限管理が可能になる。今回の発表により、Google Cloud社はAWSやAzureにまたがるIcebergデータのクエリに対応したほか、DatabricksやSnowflakeといった外部プラットフォームとの相互運用、さらには非構造化データやAIワークフローとの統合もサポートする。
BigQuery ObjectRefsが一般提供となり、チームはCloud Storageに保存された非構造化ファイルと構造化されたIcebergデータを組み合わせ、マルチモーダル分析やAIワークフローに活用できるようになった。さらに、現在プレビュー中のガバナンスレイヤー「Knowledge Catalog(旧Dataplex)」も導入された。これは、システム横断でメタデータ、データリネージ、アクセス制御を一元管理する機能を提供する。
実務者の間では、この統合によってIceberg導入に伴う「見えにくいコスト」を解消できる可能性が議論されている。David Colbert氏は次のように述べる。
チームはIcebergやDeltaの機能に期待するものの、コンパクション(データ統合・最適化)、メタデータ管理、オーケストレーションの面で早々に課題に直面します。カタログの選択は重要なポイントです。オープンフォーマットはストレージのポータビリティを実現しますが、どのコントロールプレーンを選択するかが、将来的に取り得る選択肢の広さを決定します。
Next ‘26での発表を受け、Precious Pendo氏は次のように述べている。
Google社は、エンタープライズにおけるAIの価値はストレージ層だけでなく、データ上での推論を担うレイヤーを握る主体に集約されると見ています。AWSやAzureは、コンピュートとストレージに対して課金するモデルを採用しています。Google社は、コンテキストとインテリジェンスに対する課金モデルを目指しています。
Google Cloud社だけがIcebergワークロードに注力しているわけではない。AWSでも、EMR、Glue、Athena、Redshiftといった分析サービスが、Icebergのネイティブサポートを提供している。Red Oak Strategic社のクラウドエンジニアであるShashank Muthuraj氏は、Apache Icebergがモダンなデータレイクにもたらす変化について、次のように述べている。
Apache Icebergは、Netflixのエンジニアリングプロジェクトとして始まり、わずか7年足らずでオープンなデータレイクハウスアーキテクチャの事実上の標準へと成長しました。ACIDトランザクション、隠しパーティショニング、タイムトラベル、エンジン非依存といった技術的な利点は大きな魅力です。しかし本質は、それ以上に業界全体で前例のないレベルの足並みがそろっている点にあります。
BigQueryにおけるマネージドIcebergテーブルの基本的なサポートはすでに一般提供となっている一方で、Iceberg Summit 2026で発表されたよりオープンな相互運用機能やRESTカタログ機能の大部分は、現時点ではプレビュー段階にある。