InfoQ ホームページ ETL に関するすべてのコンテンツ
ニュース
RSSフィード-
"AWS Glue"のAmazon Qデータ統合で、AWS上のデータ変換を簡素化
先日、AWSはAWS Glueの新機能のプレビューを発表した。これにより、顧客はデータ統合ジョブのオーサリングやトラブルシューティングに自然言語を使用できるようになる。AWS GlueのAmazon Qデータ統合では、開発者はデータ統合ワークロードの説明を提供することができ、サービスはETLスクリプトを生成する。
-
S3と新しいOR1インスタンスによるAmazon OpenSearch Zero ETL
Amazonは、Amazon OpenSearchサービスのAmazon S3とのゼロ抽出、変換、ローディング（ETL）統合のプレビューを発表した。これにより、サービスを切り替えることなく、Amazon S3およびS3ベースのデータレイクの操作ログを分析する新しい方法が提供される。この開発により、ユーザーはクラウドオブジェクトストアでクエリーの頻度が低いデータをシームレスに調べ、同時にOpenSearchサービスの運用分析と可視化機能を活用できる。
-
データメッシュの原則と論理アーキテクチャの定義
データメッシュの概念は、大規模なデータ管理における共通的な問題に対処するための新たな手法を提供する。Zhamak Dehghani氏はデータメッシュの４つの原則を、対応する論理アーキテクチャと組織化構造によってさらに明確化した。
-
Google、従来よりもサービスベースのアーキテクチャ”Runner V2 to Dataflow”を新たに発表
Google Cloud Dataflowは、Google Cloud Platform(GCP)内でApache Beamパイプラインを実行するための、完全マネージドなサービスである。先日のブログ記事でGoogleは、Runner v2 to Dataflowという、これまでよりもサービスベースのアーキテクチャを新たに発表した。言語SDKのすべてを対象とする多言語サポートも含まれる。
-
AmazonがAWS Glue 2.0の一般提供を発表
AWS Glueは、フルマネージドの抽出、変換、および読込み（ETL）サービスであり、分析用にデータを簡単に準備して読込むことができる。AWS Glueを使用すると、顧客はリソースをプロビジョニングまたは管理する必要がなく、サービスを実行したリソースのみの支払いを行う。
-
-
Microsoftがデータウェアハウスおよび分析サービスのAzure Synapseを発表
年次開催されるIgniteカンファレンスで、Microsoftによる今年の発表のひとつとして、Azure Synapseという新しい分析サービスに関するものがあった。Azure SQL Data Warehouseの後継となるこのサービスは、企業規模のデータウェアハウスとビッグデータ解析をひとつの場所で実現するものだ。
-
AWS re:Inventのまとめ
ラスベガスで毎年開催されるre:Inventカンファレンスにおいて、AWSが、やがて公開されるクラウドサービスを相次いで発表した。Amazonは、パブリッククラウドと一緒に、20数個の新機能について概要を説明した。それには、S3オブジェクトストレージで直接データクエリを実行すること、デプロイメントパイプラインの一部として、コードを構築すること、低価格の仮想プライベートサーバを供給すること、ETLスタイルでまとめてデータを移動することが含まれる。
-
AWSがリレーショナルデータベースのマイグレーションサービスをローンチ
1,000を越えるオンプレミスデータベースがクラウドに移行された短いベータ期間を終えて，AWSがデータベースマイグレーションサービスを正式にリリースした。このオンデマンドクラウドサービスでは，ライブマイグレーションというシナリオがサポートされている。マイグレーション作業の一環としてデータベースプラットフォームの変更を考えるユーザは，無償のスキーマ変換ツールを使ってそれを実行することができる。
-
リアクティブストリームとは
最近のソフトウェアは，リアルタイムに近いデータ操作を行うことが多くなっている。 秒以下の応答でデータ交換することにビジネス価値のある状況において，データを可能な限り早く知識に転換する方法のひとつがストリーム処理だ – Kevin Webber氏はリアクティブストリーム(Reactive Streams)について，このように説明する。
-
GoogleのCloud DataflowがGAに到達
8月12日にGoogleは，同社のビッグデータ処理サービスがGA(General Availability)に達したことを発表した。このマネージドサービスは，ビッグデータソリューションが処理するデータを事前に操作する，パイプラインを構築するためのものだ。このCloud Dataflowでは，統合モデルでストリーミングとバッチプログラムの両方をサポートする。
-
-
Amazonが注目のビッグデータ対応サービスを発表
Amazon Web Service(AWS)チームがAmazon Redshiftの限定プレビューを発表した。その費用と機能で業界に波乱を巻き起こしそうなクラウドベースのデータウェアハウスだ。２タイプの大規模コンピュートインスタンスとデータ統合ツールData Pipelineも同時に発表されている。
-
エンタープライズデータ管理は、SOAとBPMが表裏をなす硬貨の第３の面となるのか？
EDSのフェローでSOAエキスパートのFred Cummins氏は先日、「Data Management for SOA」（SOAのためのデータ管理）という小論文を書いた。再利用の達成と変化の実現という意味合いにおいて、サービス設計の重要な原理（「疎結合」と「自律性」）がどのようにエンタープライズデータと関わっているのかを考察している。