BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Data Solutions Framework:AWS上でデータソリューションを構築するためのオープンソースプロジェクト

Data Solutions Framework:AWS上でデータソリューションを構築するためのオープンソースプロジェクト

原文リンク(2024-03-02)

AWSはこの程、Data Solutions Framework (DSF)をリリースした。これは、AWS上でデータソリューションの作成を加速するために設計された、オープンソースのフレームワークである。AWS CDKを使用して構築されたこのフレームワークは、データソリューションを構築するためのビルディングブロックとして抽象化とパターンを公開しており、TypeScript(npm)とPython(PyPi)で利用できる。

DSFは、AWS上でデータソリューションを構成するための標準的なL3 AWS CDK Constructsとしてパッケージ化されたビルディングブロックを提供する。これらのビルディングブロックはカスタマイズ機能を提供し、オープンソースのCDKライブラリのコレクションであるConstruct Hubで利用可能なものを含む、他のCDK Constructと組み合わせることができる。AWSのプリンシパルソリューションアーキテクトであるLotfi Mouhib氏、AWSのシニアソリューションアーキテクトであるDženan Softić氏、AWSのプリンシパルソリューションアーキテクトであるVincent Gromakowski氏は次のように述べている

DSFを使うことで、データ(プラットフォーム)エンジニアはユースケースとビジネスロジックに集中でき、代わりにデータレイクのようなデータソリューションの一般的な抽象化を表すビルディングブロックからデータプラットフォームを作成することができます。 DSFは意見集約型のフレームワークであるが、開発者が構築したものを特定のニーズに適応させるための深いカスタマイズ機能を提供します。

AWS CDKは、クラウドインフラストラクチャをコードで定義し、CloudFormationを通じてプロビジョニングするためのオープンソースのソフトウェア開発フレームワークである。"CFN resource"として知られるL1コンストラクトは最も低レベルのコンストラクトであり、抽象化を提供しないが、"curated construct"として知られるL2コンストラクトは、単一のCloudFormationリソースに直接マッピングされる。"patterns"として知られるL3コンストラクトは、代わりに最高レベルの抽象化を提供し、特定のタスクやサービスを達成するために連携するように構成された複数のリソースを含んでいる。

著者によると、DSFは本番環境のワークロードに対応可能で、Well-Architected FrameworkのData Analytics Lensで説明されているデータ分析のベストプラクティスに従っている。DSFはcdk-nagを使用してセキュリティとコンプライアンスを強化し、構成要素の状態が所定のルールセットに準拠していることを検証する。Mouhib、Softić、Gromakowskiは次のように付け加えている。

DSFでは、コンストラクトが作成するすべてのリソースを公開しているので、AWS CDKアプリケーションでそれらを直接使用することも、AWS CDKのエスケープハッチを活用してカスタマイズすることも、AWS CloudFormationリソースをオーバーライドもできます。

Spark Data Lakeの例では、データレイクを構築し、Apache Sparkでデータを処理し、統合テストをサポートするマルチ環境CI/CDパイプラインを提供する。AWSのプリンシパルソリューションアーキテクトであるSebastian Gebski氏は次のようにコメントしている

初期リリースはデータレイクに大きく偏っています(良いこと!)が、ここではオープンソースプロジェクトについて話しているので、今後の開発の方向性はコミュニティにとって何が興味深いかに大きく依存するでしょう。

ソース:AWSブログ

SDFはAWS CDKを拡張する唯一のフレームワークではない。Open Construct Foundationはこの程、コミュニティ主導のCDK構築ライブラリのイニシアチブを発表した。

DSFはApache 2.0ライセンスのオープンソースで、公開ロードマップを提供している。

作者について

この記事に星をつける

おすすめ度
スタイル

BT