AWS re:Invent 2023の総括： Amazon Q、質素なアーキテクチャ、データベースのアップグレード

原文リンク(2023-12-02)

第12回re:Inventがラスベガスで終了した。予想通り、人工知能は今回のカンファレンスの重要なトピックであり、Amazon Bedrockと、新しいタイプの生成型AIアシスタントであるAmazon Qが、Adam Selipsky氏の基調講演の主な焦点となった。

ほとんどの発表が新技術を対象としていたが、IBM Db2 on RDSのサポートは、クラウドプロバイダーが依然としてレガシーやエンタープライズ展開のリフト＆シフトに注意を払っていることを示している。非機能要件としてのデプロイメント・コストに焦点を当てた基調講演で、Werner Vogels氏は質素倹約を推進し、イノベーションを奨励し、こう強調した。

英語で最も危険なフレーズはこうだ。英語で最も危険なフレーズは、"We have always done it this way.（私たちは、いつもこのようにしてきた） "である。

以下は、コンピューティング、データベース、ストレージ、機械学習、コスト最適化、開発に影響を与える主な発表のレビューである。

コンピューティング

EC2に関しては、第4世代のGravitonプロセッサを搭載したメモリ最適化R8gインスタンスのプレビューが重要なアップデートとなった。Graviton4インスタンスは、最大96個のNeoverse V2コア、コアあたり2MBのL2キャッシュ、12個のDDR5-5600チャンネルを搭載する。競合他社に対する異例の言及として、Selipsky氏は次のように述べた。

我々はわずか5年で第4世代に突入した。他のクラウドプロバイダーは、まだ最初のサーバープロセッサーさえ提供していない。

EC2ハイメモリU7iインスタンスは現在プレビュー中である。カスタムの第4世代Intel Xeonスケーラブル プロセッサを搭載し、896個のvCPUと16～32TBのメモリを提供し、最大128 の EBS ボリュームとネットワーク フローあたり 25 Gbps をサポートする。 700 を超えるインスタンスから選択するという課題を軽減するために、Compute Optimizerには、32日間のルックバックオプションを含む、カスタマイズ可能な適正サイズの推奨事項が導入されているのだ。

Lambdaは、大量のリクエストを処理する際に12倍高速にスケールできるようになった。分散アプリケーションを構築するためのビジュアルワークフローサービスであるStep Functionsで、外部エンドポイントとタスクステートのテストが利用可能になった。HTTPSエンドポイントは、EventBridge接続を使用して、ターゲットの認証情報を管理する。AWSのプリンシパル・デベロッパー・アドボケイトであるMarcia Villalba氏は、次のように書いている。

Step FunctionsのHTTPSエンドポイントを使えば、一般的な決済プラットフォームと直接統合でき、ユーザーのクレジットカードへの請求は一度だけで、エラーは自動的に処理される。

生成AIと機械学習

Selipsky氏の基調講演の主な発表は、生成人工知能を搭載した新しいタイプのアシスタントであるAmazon Qだった。現在プレビュー段階にあるQは、クラウド開発を簡素化するためにさまざまなAWSサービスを支援する。ネットワークのトラブルシューティング支援、会話によるQ&A機能、EC2インスタンス選択の最適化、コンソールでのエラーのトラブルシューティングなどは、Qの約束された機能の一例だ。

コミュニティのフィードバックはまちまちで、誰もがコンソールの回答に納得しているわけではなく、Ben Kehoe氏は、IAM ユーザーに関する提案は AWS が顧客にやめてもらいたいことであると強調した。開発者にとっての価格も懸念事項だが、プレビュー期間中は多くの機能が無料で利用できる。

RedshiftはRedshift Query EditorにおけるQ生成SQLを発表し、CodeCatalystにおける機能開発機能とQとQuickSightの統合は、人間によるプロンプトを実行可能なプランに変換し、より迅速なデータインサイトを提供するとされている。Amazon Qのより詳細なレビューは、今週のInfoQに掲載されている。

SageMakerの発表もあった。機械学習モデルを構築するためのビジュアルインターフェースであるSageMaker Canvasは、BedrockとSageMaker Jumpstartの基礎モデルをサポートするようになった。SageMaker Clarifyは代わりに、精度、頑健性、事実知識、偏り、毒性に基づいて基礎モデルの評価と選択を支援する。

LLM は最近、様々なアプリケーションで著しい成長を遂げている。この新しい市場に対応するため、SageMakerはTensorRT-LLMをサポートしたLarge Model Inference DLCの新バージョンを発表した。さらに、機械学習プラットフォームは、同じエンドポイント上に1つ以上のFMを展開するための新しい推論機能を追加した。ユーザーは、各モデルのアクセラレータとメモリの割り当てを制御できるようになった。AmptのCEO兼創設者であるJeremy Daly氏は、次のように指摘する。

ワーナーが、LLM（別名：新しいAI）はAIの特効薬ではないという事実を指摘するのを聞いて驚いた。われわれには古いAIツール（機械学習やディープラーニングなど）がたくさんあり、それらはまだ貴重なものだ！

Swami Sivasubramanian氏によって、2つの新しいTitanマルチモーダル基礎モデルが発表された。Titan Image GeneratorとTitan Multimodal Embeddingsのプレビューである。さらに、Titan Text LiteとTitan Text Expressが一般に利用可能になった。Bedrockの利用を簡素化するため、クラウド・プロバイダーは、基礎モデルの自動評価と人間による評価オプションを導入した。

Bedrockは現在、Anthropicの最新モデルであるClaude 2.1へのアクセスを提供しており、200Kトークンコンテキストウィンドウを提供し、幻覚の割合を減らし、長い文書での精度を向上させている。しかし、ユーザーは、会議中にClaudeの価格が大幅に上昇したことに気づいた。今年初めにプレビューで発表されたAgent for Amazon Bedrockは、オーケストレーション・コントロールが改善され、思考連鎖推論の可視性が向上した。また、微調整と継続的な事前トレーニングを使用して、モデルをカスタマイズし、特定のドメイン用のアプリケーションを構築するオプションもある。

カンファレンスの初期の発表のひとつは、Step FunctionsとBedrockを使って生成AIアプリを構築する機能で、2つの新しいAPIアクションがある。テキスト、画像、埋め込みモデルの推論を実行するInvokeModelと、ベースモデルをカスタマイズするジョブを作成するCreateModelCustomizationJobである。

Glue Data Qualityは現在プレビュー中である。異常検知と洞察を追加するこの機能により、顧客は自動的に異常を検知し、データが時間とともにどのように変化するかを追跡できる。

ストレージ

主なストレージの発表は、AI/MLトレーニングや金融モデリングにおけるデータ処理のためのS3ストレージクラスだった。S3 Express One Zoneは、1桁ミリ秒のデータアクセスを実現する高性能なシングルAZストレージクラスで、データアクセス速度の向上とリクエストコストの削減を実現する。AWS Serverless HeroのYan Cui氏は警告する。

新しいS3 express one-zoneクラスについて、多くの人が見逃していることの1つは、リクエストは50％安いが、ストレージは7倍高いということだ。だからといって魅力がないわけではない。ただ、考慮すべきトレードオフが明確にあるということだ。

別の発表では、Mountpoint for Amazon S3とEMRはS3 Express One Zoneをサポートしている。データレイクの権限管理を支援するために、S3 Access GrantsはActive DirectoryやIAM PrincipalのようなIDプロバイダーと統合し、S3のディレクトリとデータセットにIDをマッピングする。

Elastic File Systemの新しいストレージクラスが長期データ用に追加され、EFS ArchiveはEFS低頻度アクセスと同様のパフォーマンスを低価格で提供する。EFSレプリケーションのフェールバックサポートにより、DR ワークフローの実行時に異なるEFS間で変更を同期できる。最後に、EFSはファイルシステムごとに最大250K の読み取りIOPSと50K の書き込みIOPS をサポートする。

その他の発表では、FSx for NetApp ONTAP向けのFlexGroupボリューム管理が利用可能になり、FSx for ONTAPスケールアウト・ファイル・システムも利用できるようになった。FSx for ONTAPは参加者のアカウントによるShared VPCのMulti-AZファイルシステムを扱い、FSx for OpenZFSはファイルシステム間のオンデマンドデータレプリケーションをサポートする。

AWS Backupは、リストアテストのサポートを追加した。これは、自動化された定期的なリストアテストを実行する機能である。EBS Snapshots ArchiveがBackupで利用できるようになり、アクセス頻度の低いEBSスナップショットを低コストのアーカイブストレージに移行できるようになった。

データベース

RedisおよびMemcachedと互換性のあるElastiCache Serverlessは、アプリケーションのトラフィックパターンに基づいて容量を "瞬時に"拡張する新しいオプションである。クラウド・プロバイダーによると、このサービスはキャッシュをスケールアップさせ、キャパシティ・ニーズを満たすために並行してスケールアウトを開始することで、ダウンタイムなしにスケーリングするという。ダックビル・グループのチーフ・クラウド・エコノミストであるCorey Quinn氏は、最小の従量制データ・ストレージ、スケーリング・アルゴリズム、90米ドル/GBという価格に疑問を呈している。彼はこう結論づける。

これを本番用データストアとして使用することは、本当に、本当に避けたい。

Peter DeSantis氏の基調講演で最初に発表されたAurora Limitless Databaseは、毎秒数百万の書き込みトランザクションを処理する自動水平スケーリングをサポートするAuroraの機能である。シャードはPostgreSQL DBインスタンスであり、並列処理を可能にし、より高い書き込みスループットを達成する。Aurora Limitless Databaseは現在プライベートプレビューで、PostgreSQLのみをサポートしている。

ソース：AWS blog

驚くべきレガシーデータベースのコミットメントとして、バージョン11.5を実行しているスタンダード版とアドバンス版の両方でRDSはDb2をサポートするようになった。

カンファレンスでは、複数の "ゼロETL統合 "が発表された。OpenSearch ServiceとS3の統合のプレビューも含まれ、運用ログを照会できる。DynamoDBとOpenSearch Serviceの統合が利用可能になった。OpenSearch Ingestionを利用してデータを同期することで、開発者はDynamoDBのデータに対して全文検索、あいまい検索、オートコンプリート、ベクトル検索を実行できる。

Redshift Serverlessは、AI主導のスケーリングと最適化のプレビューを導入し、クラウドデータウェアハウスがワークロードパターンを学習し、データ量の変化、同時ユーザ、クエリの複雑さに応じてキャパシティを適応させる。

SQS FIFOキューは、毎秒最大70Kトランザクションをサポートし、特定の回数の再試行後に消費されなかったメッセージを処理するためにデッドレターキューのリドライブをサポートするようになった。

AWSは、ベクトル埋め込みの人気に対応するため、DocumentDBのベクトル検索 とOpenSearch Serverlessのベクトルエンジンの一般提供を発表した。AWSのプリンシパル・デベロッパー・アドボケイトであるChanny Yun氏は、次のように書いている。

数千次元の何十億ものベクトル埋め込みをミリ秒で保存、更新、検索できるようになった。ベクトルエンジンの高性能な類似検索機能により、生成AIを搭載したアプリケーションは、ミリ秒スケールの一貫した応答時間で、正確で信頼性の高い結果を提供することができる。

Neptune Analyticsは、大量のグラフデータを分析する必要のあるデータサイエンティストやアプリケーション開発者向けの分析データベースである。

ビジネス・アプリケーション

WorkSpaces Thin Clientは、AWS上の仮想デスクトップへのセキュアなアクセスを提供する小型デバイスである。このクライアントは、WorkSpaces、WorkSpaces Web、AppStream 2.0をサポートしており、Active Directoryを使用したユーザーIDと認証情報の管理にはさまざまなオプションが用意されている。Queryの副社長兼著名エンジニアであるJonathan Rau氏のコメントは以下の通りである。

メインリージョンでのみ機能するが、AppStreamでも機能する。永続的なDaaS/VDIをやっている人はもうあまり知らないが、EUCでまだイノベーションが起きているのを見るのはクールだ。

昨年夏にプレビューで発表されたHealthscribeは、臨床文書を作成するためのHIPAA適格サービスであり、一般的に利用可能である。B2B Data Interchangeは、製造、小売、ヘルスケアのワークロードを対象としており、EDI（Electronic Interchange Data）文書をJSONやXMLなどの一般的なデータ表現に自動変換するマネージド・サービスである。

ビジョンシステムデータは、自動車会社が車両データを収集、整理、処理できるようにするサービス、IoT FleetWiseのプレビュー中の機能である。

モニタリングとセキュリティ

CloudWatchはログとメトリクスに自然言語によるクエリ生成を導入し、開発者が記述から新しいクエリを生成したり、既存のクエリを改良したりできるようにした。監視プラットフォームは、取り込み価格を半額にするInfrequent Accessと呼ばれるログクラスを追加し、Live Tail、アラーム、データ保護のような高度な機能を必要としないデプロイメントの監視コストを削減した。CloudWatch Logsは、自動化されたパターン分析と異常検知を提供するようになった。オブザーバビリティの改善について、AWSのチーフ・エバンジェリスト（EMEA）であるDanilo Poccia氏は次のように説明する。

ログクエリの結果を見るとき、パターンを使って干し草の山から針を見つけることができる。また、結果を前の期間と素早く比較して、何が変化したかを確認し、昨日や先週にはなかった新しいパターンがあるかどうかを見つけることができる。

ソース：AWSブログ

CloudWatch Application Signals（プレビュー中）は、アプリケーションの自動計測のために、メトリクス、トレース、ログ、実ユーザモニタリング、合成モニタリングのテレメトリを自動的に相関させる。最後に、CloudWatchは、ハイブリッド、マルチクラウド、オンプレミスのメトリクスを統合するために、外部ソースを作成・管理するオプションを追加した。AWSのバイスプレジデント兼チーフエバンジェリストであるJeff Barr氏は、次のように書いている。

私が最初にこの新機能について聞いたとき、"待てよ、PutMetricDataでできるじゃないか、何が大変なんだ？"と思った。PutMetricDataはメトリクスをCloudWatchに保存するが、このクールな新機能は、ソースから直接、オンデマンドでフェッチする。

Control Towerは、顧客がデジタル・ソブリン要件を満たすのに役立つ65のコントロールを追加した。一方、Security Hubダッシュボードでは、新しいデータ可視化、フィルタリング、カスタマイズの機能強化が利用可能で、顧客はより簡単にリスクに焦点を当てることができ、BIツールにデータをエクスポートする必要性を減らすことができる。Inspectorは、ビルド時にコンテナイメージのソフトウェア脆弱性を評価するための新しいオープンソースプラグインとAPIを導入した。

EC2 Runtime MonitoringはGuardDutyの機能で、脅威の検出を向上させ、ホスト上のオペレーティングシステムレベルのアクティビティに可視性を追加し、検出された脅威にコンテナレベルのコンテキストを提供する。

Application Load Balancerは、Automatic Target Weights（ATW）をサポートするようになった。これは、新しいルーティングアルゴリズムを使用して、5XXエラーや接続エラーなどの健全性情報に基づいて、各ターゲットに送信されるトラフィックを最適化する。アプリケーションロードバランサーの相互認証により、顧客はX509証明書をロードバランサーに提示するクライアント認証をオフロードできるようになった。base2Serviceのテクノロジー・ディレクター、Aaron Walker氏のコメントは以下のとおりである。

長い間これを待っていた。差別化されていない重労働を削除する時が来たのだ。

ソース：AWSブログ

AWS Distro for OpenTelemetryのログの一般的な利用可能性は、カンファレンスの数日前に発表された。

アーキテクチャ、コーディング、生産性ツール

カンファレンスでの最新の発表の一つは、AWS上で実行されているアプリケーションを管理・監視するためのコンソールの新しいアプリケーション中心のオプションであるmyApplicationsだ。これは、アプリケーションパフォーマンスのためのCloudWatchや、セキュリティ発見のためのSecurity Hubなど、関連するサービスの特定のリソースに作用する。PostNLのプリンシパル・エンジニアであるLuc van Donkersgoed氏は次のようにコメントしている。

myApplicationsは面白いと思うし、多くのチームが有効にするのは良いアイデアだ。アプリケーション（コスト、動作、インシデント）を理解することは、あらゆるプロダクションワークロードにとって不可欠であり、myApplicationsはそれを達成するための障壁を低くしている。

re:Inventの前の1週間に、AWSは現在MacOSでのみ利用可能なコマンドライン用のCodeWhisperer のプレビューを発表し、カンファレンス中にAIを活用したコード修復、IaC サポート、Visual Studioとの統合が追加された。AWSのプリンシパルソリューションアーキテクトであるIrshad Buchh氏は次のように説明する。

発売以来、Amazon CodeWhispererは、組み込みのセキュリティスキャンによって、見つけにくいセキュリティ脆弱性を特定してきた。現在では、特定されたセキュリティとコード品質の問題を修正するために、AIを活用した生成的なコード提案を提供している。

生成AI機能Console-to-Codeのプレビューは、コンソールでのプロトタイピングから本番コードのデプロイへの移行を支援する。コンソールのアクションに対してコードを生成する機能は、コミュニティで好意的な反応を得た。

AWSによると、Q Code TransformationはJavaアプリケーションのバージョン8と11からバージョン17へのアップグレードを実行でき、Windowsベースの.NET Frameworkアプリケーションからクロスプラットフォームの.NETへのアップグレードも間もなくサポートするという。アマゾンの副社長兼著名エンジニアであるMatthew Wilson氏は、次のように説明する。

Amazon Q Code TransformationはOpenRewriteを使い、顧客のためにJavaのアップグレードを加速させる（...）Amazon Q Code Transformationの社内開発が始まる前に、AmazonのチームはOpenRewriteがどのように規模でのソフトウェアのアップデート作業をより手間のかからないものにできるかについて興奮していた。OpenRewriteが存在し、強力なコミュニティがあることに感謝している。

CloudFormationはスタックのGit管理をサポートし、開発者がリモートのGitリポジトリに保存されたCloudFormationテンプレートからスタックを同期できるようになった。Cui氏はこうコメントしている。

CI/CDパイプラインを廃止して、CloudFormationにスタックをリポジトリから直接デプロイさせることができるようになった。最初は便利だと思ったが、パイプラインでテストなどを実行したい。だからこれは、本当にシンプルなインフラのみのケースを除いて、私が実際に使うものではないだろう。

Lens Catalog for the AWS Well-Architected Toolは、最新のクラウドのベストプラクティスを調査、レビュー、実装したい顧客のための中心的なレンズリポジトリだ。

Route53 Application Recovery Controllerは、AWSが潜在的な障害を識別したときに、AZから自動的にトラフィックをシフトし、それが解決されたときにシフトを戻すゾーンオートシフトを追加した。

re:Post Privateは、企業向けにマネージド・ナレッジ・サービスを提供するre:Postのプライベート版である。

コスト最適化

クラウドプロバイダーは、コスト最適化ハブ（Cost Optimization Hub）という機能を発表した。最後に、Free Tierの利用状況をプログラムで照会するための新しいAPIがある。独立系コンサルタントでAWS Data HeroのAlex DeBrie氏はこうコメントしている。

非常に興味深い。このAPIをベースにした有用なツールがいくつかあるだろう。そしておそらく、より初心者に優しいFree Tierエクスペリエンスへの架け橋となるだろう。

結論

Vogels氏は2024年の技術予測として、生成AIが文化的に認知され、AIアシスタントが開発者の生産性を再定義することを示唆している。

AIアシスタントは、基本的なコードジェネレーターから、ソフトウェア開発のライフサイクル全体を通してサポートを提供する教師であり、疲れを知らない協力者へと進化するだろう。彼らは複雑なシステムを簡単な言葉で説明し、的を絞った改善を提案し、反復的なタスクを引き受けることで、開発者が最も影響力のある仕事の部分に集中できるようにする。

イベント期間中、AWSは主な発表内容の記事を更新し、5つの基調講演と400以上のセッションはすでにYouTubeで公開されている。