AWS社はこのほど、S3 Tables向けに二つの新機能を発表した。 一つ目は、アクセスパターンに基づいてコストを自動的に最適化する新たなインテリジェントティアリングのストレージクラスである。 二つ目はレプリケーション機能で、手動での同期作業を必要とせず、AWSの複数リージョンおよびアカウント間でApache Icebergテーブルの一貫したレプリカを自動的に維持できるようになった。
新たなインテリジェントティアリングでは、ストレージクラスのデータが、三つの低レイテンシー層であるFrequent Access、Infrequent Access、Archive Instant Accessの中から、最もコスト効率の高い層に自動的に階層化される。AWS社によると、Archive Instant Accessは最も低コストの層で、Infrequent Accessと比べて68％低いという。 AWS社のプリンシパル・デベロッパー・アドボケートであるSebastian Stromacq氏は、次のように書いている。
データは30日間アクセスがない場合にInfrequent Accessへ移行し、90日後にはArchive Instant Accessへ移行します。アプリケーションの変更を必要とせず、性能への影響もありません。
テーブルは既定では標準のストレージクラスを使用する。ただし、ユーザーがテーブルを作成する際、ストレージクラスとしてIntelligent-Tieringを指定できるほか、テーブルのバケットレベルで設定された既定のストレージクラスを使用することも可能である。 また、ユーザーはテーブル用バケットの既定のストレージクラスとしてIntelligent-Tieringを設定できる。この場合、テーブル作成時にストレージクラスを指定しなければ、テーブルは自動的にIntelligent-Tieringに保存される。
ユーザーは、AWS Command Line Interface（AWS CLI）を利用し、put-table-bucket-storage-classコマンドおよびget-table-bucket-storage-classコマンドによって、S3のテーブル用バケットのストレージ階層を変更または確認できる。コマンドは次のようになるとしている。
aws s3tables put-table-bucket-storage-class --table-bucket-arn $TABLE_BUCKET_ARN --storage-class-configuration storageClass=INTELLIGENT_TIERING # Verify the storage class aws s3tables get-table-bucket-storage-class --table-bucket-arn $TABLE_BUCKET_ARN { "storageClassConfiguration": { "storageClass": "INTELLIGENT_TIERING" } } Imperious Enterprise社のAWSアーキテクトであるAdefemi Adeyemi氏は、LinkedInへの投稿で次のように指摘した。
分析向けのデータセットの多くは、一定期間は「ホット」な状態にあり、その後は徐々に利用頻度が下がります。S3 Tablesでインテリジェントティアリングを利用すれば、Apache Icebergのデータに対してライフサイクルポリシーを継続的に調整する必要はなくなります。これは、アクセスパターンに応じてオブジェクトを自動的に低コストの階層へ移動させる仕組みであり、長期間運用されるデータレイクにとって大きな利点になるとしています。
S3 Tablesでは、レプリケーション機能により、AWSの複数リージョンやアカウント間でテーブルの一貫した読み取り専用レプリカを維持できる。ユーザーが転送先となるテーブル用バケットを指定すると、サービスが読み取り専用のレプリカテーブルを作成する。更新内容は時系列順にすべて複製され、親子関係にあるスナップショットの関係性も保持される。さらに、レプリカテーブルは元のテーブルの更新から数分以内に反映され、暗号化や保持ポリシーは元のテーブルとは独立して設定できる。
Stromacq氏は次のように述べている。
レプリカテーブルは、Amazon SageMaker Unified Studioのほか、DuckDB、PyIceberg、Apache Spark、Trinoなど、Iceberg互換の各種エンジンからクエリを実行できます。
ユーザーは、AWS Management ConsoleやAPI、AWS SDKを利用してテーブルのレプリカを作成し、維持できる。さらに、複製元のテーブルに対して、複製先となるテーブル用バケットを指定できる。レプリケーションを有効にすると、S3 Tablesがこれらのバケットに読み取り専用のレプリカを作成し、最新の状態を反映したうえで、更新を継続的に監視し、同期を維持する。
同じLinkedInの投稿で、Adeyemi氏は次のように述べている。
ネイティブのレプリケーション機能により、数分以内に同期が保たれる読み取り専用のレプリカを立ち上げることができ、これらはIcebergテーブルとして引き続きクエリ可能だとしています。独自の仕組みを作り込む手間が減り、データ活用により多くの時間を割けるようになるとしています。
最後に、ユーザーはAWS Cost and Usage ReportsやAmazon CloudWatchのメトリクスを通じて、アクセス階層別のストレージ使用量を把握できる。インテリジェントティアリングの設定に追加料金はかからず、各階層におけるストレージ料金のみを支払う仕組みである。S3 Tablesのレプリケーションについては、転送先テーブルのS3 Tablesストレージ料金に加え、レプリケーションに伴うPUTリクエスト、テーブル更新（コミット）、複製データのオブジェクト監視に対してのみ料金が発生する。詳細は料金ページで確認できるとしている。