InfoQ ホームページ data-analysis に関するすべてのコンテンツ
-
Data Solutions Framework:AWS上でデータソリューションを構築するためのオープンソースプロジェクト
AWSはこの程、Data Solutions Framework (DSF)をリリースした。これは、AWS上でデータソリューションの作成を加速するために設計された、オープンソースのフレームワークである。AWS CDKを使用して構築されたこのフレームワークは、データソリューションを構築するためのビルディングブロックとして抽象化とパターンを公開しており、TypeScript(npm)とPython(PyPi)で利用できる。
-
データ処理ワークロードと柔軟なストレージを実現するAmazon ECSとAmazon EBSの統合
AWSは最近、Amazon Elastic Container Service (AmazonECS) がAmazon Elastic Block Store (AmazonEBS) との統合をサポートすることを発表した。
-
Netflix、MaestroとApache Icebergを使ったインクリメンタル処理ソリューションを構築
Netflixは、データ・プラットフォームにおけるインクリメンタル処理のための新しいソリューションを構築した。インクリメンタルアプローチは、完全なデータセットの処理を避けるため、コンピューティングリソースのコストと実行時間を大幅に削減する。同社は、Maestro workflow engineとApache Icebergを使用して、データの鮮度と精度を向上させ、マネージドバックフィル機能を提供する予定である。
-
AWS、モバイルおよびウェブアプリケーション向けの新しいクリックストリーム解析ソリューションを発表
AWSは最近、Clickstream Analytics on AWSという新しいサービスを発表した。 これは、企業のウェブアプリケーションやモバイルアプリケーション内のクリックストリームデータを収集、取り込み、分析、可視化するエンドツーエンドのソリューションだ。
-
ファイザー、AWS上のサーバーレスアーキテクチャを使用してデジタルバイオマーカーの処理を拡張
ファイザーは、デジタルバイオマーカーデータを大規模に処理するためのサーバーレスアーキテクチャをアップグレードし、より柔軟で設定可能なものにした。彼らは、AWS Step Functionsと他のサーバーレスサービスで構築されたファイル処理パイプラインと、データ取り込みと処理のためのカスタムPythonパッケージを使用するフレームワークを作成した。
-
Microsoftが中核となる新たなプラットフォームを発表:Microsoft Intelligent Data Platform
Microsoftは最近、Microsoft Intelligent Data Platformと呼ばれる新しいプラットフォームを発表した。このプラットフォームでは、データベース、分析、ガバナンスの製品を完全に統合する。この新しいプラットフォームには、Azure Dataスペースで既に利用できるすべてのもの(Azure Data Factory、Azure Data Explorer、SQL Server 2022、Azure SQL、Cosmos DBなど)からSynapse Analytics製品、Power BI、および新しくブランド変更されたPurviewデータガバナンスが含まれる。
-
Google Analyticsに対するオーストリアDPAの判決がEUベースのクラウドサービスへの道を開く
最近の判決で、オーストリアのデータ規制当局は、EU GDPR規制に基づいてGoogleアナリティクスの使用を違法を言い渡した。判決は非常に具体的に議論され、言葉で表現されている。一方で、それが意味するところはこの特定のケースの範囲をはるかに超えている。
-
Uber Riderアプリでのデータ収集、標準化、大規模な利用
Uber Engineeringは最近、Uber Riderアプリからデータを収集、標準化、使用する方法を公開した。ライダーデータには、Uberアプリとのライダーのインタラクションがすべて含まれる。このデータは、Uberのオンラインシステムからの毎日の何十億ものイベントを表している。Uberはこのデータを使って、ファンネルコンバージョンの増加、ユーザエンゲージメントなどの主要な問題領域に対処する。
-
Microsoftが"Azure for FHIR API"を"FHIR API to Azure Healthcare APIs"に名称変更
先頃Microsoftは、同社Cloud for Healthcare用Fast Healthcare Interoperability Resource(FHIR) Azure APIの名称を、"Azure Healthcare APIs"に変更すると発表した。それに合わせて、ヘルスケアデータのサポート範囲を拡張し、FHIR経由による患者の健康データ、DICOM経由の医療画像データに加えて、Azure IoT Connector for FHIR (IoT Connector)を通じて収集した医療機器データも対象にする。
-
Amazon SNS、Amazon Kinesis Data Firehose経由でのメッセージのアーカイブと分析が可能に
Amazon Web Services(AWS)は先頃、Amazon SNSがAmazon Kinesis Data Firehoseサブスクリプションをサポートし、"カスタムコードを書く必要なく[...]データレイク(data lake)、データストア、およびアナリティクスサービス"へのメッセージ送信を可能にすると発表した。新たなイベント送信先が加わることで、サードパーティサービスプロバイダのインテグレーションも容易になる。
-
AWSがAmazon Finspaceと呼ばれるデータ管理および分析ソリューションを発表
最近、AWSは、Amazon FinSpaceと呼ばれる金融サービス業界(FSI)向けのデータ管理および分析ソリューションを発表した。このサービスは、金融アナリストが分析のためにあらゆる種類の財務データを見つけてアクセスするのにかかる時間を短縮することを目的としている。
-
マシンラーニングをテストとメンテナンス作業で使用する
マシンラーニングを使えば、メンテナンス作業の削減とプロダクトの品質向上が可能になる。ソフトウェアのテストサイクルのさまざまなステージで使用することができる。チェーンの重要なパートであるバグ管理もその中に含まれる。マシンラーニングアルゴリズムを使って大量のデータを分析することで、バグの分類やトリアージ、優先順位付けをより効率的に行えるようになる。
-
BBCの分析プラットフォームの失敗に備えた設計
先週のInfoQ Liveで、BBCのプリン��パルシステムエンジニアであるBlanca Garcia-Gil氏が、データプラットフォームの進化する分析のセッションを行った。このセッション中、Garcia-Gil氏は、チームが「既知の未知」と「未知の未知」という2種類の障害にどのように備えて設計したかに焦点を当てた。
-
GoogleがDatabricksをクラウドプラットフォームに導入
最近、GoogleはDatabricksとのパートナーシップを発表した。フルマネージドのApache Spark製品とデータレイク機能をGoogle Cloudに導入するためである。この製品は、Google CloudでDatabricksとして利用できるようになる。
-
AmazonがAWS Glue 2.0の一般提供を発表
AWS Glueは、フルマネージドの抽出、変換、および読込み(ETL)サービスであり、分析用にデータを簡単に準備して読込むことができる。AWS Glueを使用すると、顧客はリソースをプロビジョニングまたは管理する必要がなく、サービスを実行したリソースのみの支払いを行う。