イベントストリーム処理：データウェアハウスに代わる拡張可能な代替案

作者 Sadek Drobi , 翻訳者 編集部 投稿日 2008年11月8日

セクション

エンタープライズ・アーキテクチャ,

設計/アーキテクチャ,

デベロップメント

トピック

スケーラビリティ ,

Architecture ,

Event Stream Processing ,

データウェアハウス ,

イベント ,

エンタープライズアーキテクチャ ,

Data Warehouse ,

パフォーマンス&スケーラビリティ

共有 |

Dan Pritchett氏は、データウェアハウジングアプリケーションの代わりとなるソリューション(リンク)を、自身のブログ上で提案している。「単一のアドレスおよ びストレージ空間で実装のみ可能なソリューション」は気が進まないが、データは分析のために集約される必要があることを認めている。これはまさしくデータ ウェアハウジングアプリケーションがおこなっていることであり、多様な軸と共に情報を集め、データにおける関係を反転させる可能性を提供している。しかし ながら、Pritchett氏によるとそれらを使用することはかなりマイナス面があるらしい。データウェアハウジングアプリケーションが高額で「中小企業 にとっては手の届かないケースが多い」だけでなく、Extract、TransformおよびLoadソフトウェア(ETL)機能が拡張可能性と反応性と いう点から見て、費用を生じさせる。

まず、ETLが実働データベースにかなりの負荷をかける。ETLのオフラインウィンドウがあるなら、それはそれで良いことだが、ない場合、スケールの管理 は難題になる。次に、ウェアハウスの鮮度は通常24時間以上である。ビジネスの規模が大きくなるにつれて、このラグも大きくなる。

Dan Pritchett氏は、より手ごろでもっと拡張可能なソリューションが可能であることを強く信じている。それは、Event Stream Processor (ESP)

(リンク)ソリューションを使用して、イベントのストリームを処理することである。

ESPはSQLに類似した言語を使用して、イベントのストリームを分析する。データベースおよびデータウェアハウスがSQLを使用して、データテーブルの 分析を実行するのと同様の方法で、ESPは、クエリー言語を使用して、イベントのストリームを分析する。ESPを理解する最も単純な方法は、テーブル内で イベントを行として考え、イベントの属性を列としてとらえることである。それぞれのイベントタイプは、テーブルのそれと同じである。

[…]

ESPはデータの変更があると、それを分析する。バッチETLをするよりはむしろ、データ状況が変化すると、ストリームビジネスはイベントを発生させる。これによりより、管理可能なスケーリングモデルを作成する。

[…]

ESPは平行に拡大縮小ができるので、ビジネス上より費用効率が高い。また、ESPがリアルタイムで分析を実行するため、ビジネスメトリックはカレントで、ビジネスが大きくなるに従い、その方法を維持する。

しかしながらDan氏は、このアプローチはリアルタイムで検討されたビジネスアクティビティの見通しとは異なったビジネスアクティビティを進行するため に、ヒストリカル分析の実行を許可しないことを強調している。Pritchett氏が述べているソリューションは、トランザクションを取り込み、再生する フレームワークである。しかしながら、やや値が張る。投稿記事にコメントし、Tahir Akhtar氏は別の可能なソリューションを提案している。それは、ETLをESPに置き換えるが、ESPの拡張可能性と反応性を利用しながら、ヒストリ カル分析を実行する機能を保存するために、データウェアハウジングアプリケーションは使用し続けることである。

原文はこちらです：http://www.infoq.com/news/2008/10/scalable-datamining-alternative