AWSは最近、ベクトルデータの保存およびクエリをネイティブサポートするクラウドオブジェクトストレージサービス、S3 Vectorsの一般提供を発表した。GAリリースにより、同社はインデックスあたりの容量を40倍に拡張、20億ベクトルまで対応するとともに、100ms未満のクエリレイテンシを実現した。
今年初め、7月にはこのサービスはプレビュー提供されており、同社によればユーザーはすでに25万を超えるベクトルインデックスを作成し、400億以上のベクトルを取り込んでいる。このプレビューではインデックス当たり5,000万ベクトルに制限されていたが、AWS社のプリンシパル開発者Sebastian Stromacq氏は書いている:
ひとつのインデックスで最大20億ベクトルを保存および検索可能になりました。これはベクトルデータセット全体をひとつのインデックスに統合できることを意味し、複数の小規模インデックスにシャーディングしたり、複雑なクエリフェデレーションロジックを実装したりする必要がなくなります。
さらに同社はクエリ性能を強化、低頻度のクエリは1秒未満で結果を返し、高頻度のクエリでは100ms以下のレイテンシを達成しており、対話型AIのようなインタラクティブなアプリケーションに有益である。また同社によれば、1クエリ当たり最大100件の検索結果を取得可能になり、検索拡張生成(RAG)アプリケーションのコンテキストが向上した。加えて、書き込み性能は単一ベクトル更新で毎秒最大1,000件のPUTトランザクションをサポートし、小さなバッチサイズでも高いスループットを実現し、複数の並行・同時実行ソースからの新規データを即座に検索可能にする。
同社はまた、プレビュー提供されていた2つの主要統合が一般提供されたと述べている。ユーザーはAmazon Bedrock Knowledge BaseのベクトルストレージエンジンとしてS3 Vectors を利用できるようになり、さらにAmazon OpenSearchとのS3 Vectors統合も一般提供され、検索および分析機能にはOpenSearchを利用しつつ、ユーザーはベクトルストレージレイヤーとしてS3 Vectorsを使用できるようになった。
開発者Jalaj Nautiyal氏はLinkedIn投稿で書いている:
S3 Vectorsはベクトル検索をCompute-First問題からStorage-Firstソリューションに移行させます。「サーバーレス」シフト:クラスター、Pod、シャードを管理する必要はありません。ベクトルをS3内の他のオブジェクトと同じように扱えます。スケール:数十億のベクトルを保存できます。コスト:総所有コストを最大90%削減できます。S3ストレージ(低コスト)とクエリ料金のみを支払います。アイドル状態のコンピュートコストは発生しません。
さらに、同氏は書いている:
社内RAGアプリケーションや自律エージェントの80%にとって、フェラーリ級のベクトルデータベースはおそらく不要です。必要なのは、信頼性が高く無限に拡張できるトランクです。S3はまさにそのトランクになりました。
現在、S3 Vectorsはプレビュー時の5つから拡大し、14のAWSリージョンで利用可能である。加えて、本サービスの価格は次の3つの要素に基づいて決定される。
-
PUT料金は、ユーザーがアップロードするベクトルの論理GBに基づいて算出され、各ベクトルには論理的なベクトルデータ、メタデータ、キーが含まれる。
-
インデックス全体における論理ストレージの総量がストレージコストを決定する。
-
クエリ料金には、APIごとの料金に加え、インデックスサイズ(フィルタ不可のメタデータを除く)に基づくTB当たりの料金が含まれる。
価格に関する詳細はストレージ料金表ページで確認できる。