先日、AWSはAWS Glueの新機能のプレビューを発表した。これにより、顧客はデータ統合ジョブのオーサリングやトラブルシューティングに自然言語を使用できるようになる。AWS GlueのAmazon Qデータ統合では、開発者はデータ統合ワークロードの説明を提供することができ、サービスはETLスクリプトを生成する。
生成AIである、Bedrockのマネージドサービスを搭載したAWS Glueの新しいチャットエクスペリエンスは、データ統合ジョブのオーサリングとトラブルシューティングを簡素化することを目的として、ETLに自然言語処理を導入している。AWSのプリンシパル・アドバイザーであるIrshad Buchh氏は、以下のように説明している。
データ統合のワークロードを記述すれば、Amazon Qが完全なETLスクリプトを生成してくれます。Amazon Qにエラーを説明してもらい、解決策を提案することで、ジョブのトラブルシューティングを行うことができます。Amazon Qは、データ統合ワークフロー全体を通して詳細なガイダンスを提供します。Amazon Qは、AWS Glueを使用したデータ統合ジョブの学習と構築を支援します。Amazon Qは、Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon DynamoDBなどの一般的なAWSソースへの接続を支援します。
re:inventでプレビューとして紹介されたAmazon Qは、開発者や顧客が "問題を解決し、コンテンツを生成し、行動を起こす "のを支援する生成AIを搭載したアシスタントとして機能する。ETLパイプライン開発を簡素化するために設計されたAWS Glueの、アナリティクス、機械学習、アプリケーション開発のためのデータの発見、準備、集約を容易にするサーバーレスデータ統合サービスだ。
最近の発表では、以下のコードのようなプロンプトが、
Write a Glue ETL job that reads from Redshift,
drops null fields, and writes to S3 as parquet files.
必要な手順を記載し、以下のスクリーンショットのようにPythonコードを生成することが強調されている。
/filters:no_upscale()/news/2024/02/amazon-q-aws-glue-etl/en/resources/1Screenshot%20from%202024-02-19%2017-39-13-1708360910460.png)
ソース: AWSコンソール
近年、抽出、変換、ロード（ETL）のプロセスは、マーケティング、顧客、センサーデータなど、様々なソースからの構造化・非構造化データを管理するために重要性を増している。ワカ・オンラインNZのディレクター、 Bala Balakumar氏は次のようにコメントしている。
Amazon Qは、異なるデータソースを横断的に扱うという点で非常に強力です。今、AWS GlueとAmazon QをZero ETLで統合することで、データインサイトがすぐに手に入るようになりました！
Amazon Qのデータ統合は、AWS Glueの唯一の最近の機能強化ではない。Glue Data Catalogは、複数のエンジンSQLビューの作成、管理、アクセス制御をサポートし、Glue Data Qualityは、異常検知と洞察を提供し、データが時間とともにどのように変化するかを追跡する。最後に、re:Inventの直前に、クラウド・プロバイダーはGlueサーバーレス・スパークUIと観測可能性メトリクスを追加した。
Amazon Q Data Integrationは、現在AI搭載アシスタントがサポートされている全ての地域で利用可能だ。ドキュメントによると、データは、顧客が生成AIアシスタントを使用する場所に関係なく、米国のAWSリージョンに送信され、保存される。