BT

Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ

| 作者: Srini Penchikala フォローする 36 人のフォロワー , 翻訳者 吉田 英人 フォローする 0 人のフォロワー 投稿日 2016年12月12日. 推定読書時間: 3 分 |

原文(投稿日:2016/10/31)へのリンク

Javier Lopez,Mihail Vieru両氏は今月初めのReactive Summit 2016 Conferenceで,ビジネスインテリジェンスのユースケースにおけるストリーム処理を目的とした,クラウドベースのデータインテグレーションおよび分散プラットフォームについて講演した。

ヨーロッパのオンラインのファッション小売業者であるZalandoは,モノリシックからマイクロサービスへ,階層構造組織からアジャイル組織への転換を実施している。

イベントストリーム処理を導入したことで同社の技術チームは,ほぼリアルタイムなビジネスインテリジェンスを実現した。同社ではイベントストリーム処理に,FlinkKafkaElasticsearchといった技術を使用している。

同社のアーキテクチャでは,アプリケーションはREST APIを通じて相互通信し,データベースはAmazon Virtual Private Cloud(VPC)インフラストラクチャに隠蔽されている。すべてのチームは,中心にあるイベントバスにデータを公開する。同社のアーキテクチャモデルは,イベントバス経由で対話するマイクロサービスを(REST API経由で)コールするアプリケーション,次にKafka,Exporter,最後にAWS S3データストアによって構成されている。分散アクセスと適切な粒度のデータセキュリティを提供するために,Data Lakeも使用されている。

Lopez,Vieru両氏は,Flinkフレームワークをマイクロサービスアーキテクチャで使用する方法について説明した。Flinkはイベント,取得(ingestion),処理時間に基づくストリームデータの処理に使用される他,システムアーキテクチャ全体のバックプレッシャ処理も暗黙的に行なっている。

同社のビジネスプロセスには1,000を越えるイベントタイプがあり,それぞれがKafkaのトピックを所有している。さらに相関するイベントタイプ(JoinやUnionなど)の処理プロセスを解析し,ビジネスルールに基づいたデータの表現力向上を図っている。ストリーム処理は,プラットフォームスナップショット用のスライディングウィンドウ(1分から48時間まで)を使用して実施する。

アーキテクチャにはセキュリティのためのOAuth,Postgres DBベースのコンフィギュレーションサービス,Pythonを使った視覚化コンポーネントも含まれている。

次に両氏はストリーム処理の2つのケース – ほぼリアルタイムなビジネスプロセス監視ソリューションとストリーミングETLについて論じた。リアルタイムプロセス監視は,オーダ速度やデリバリ速度といったデータストリーム分析や,サービスレベル契約(SLA)のコントロールに有効だ。ストリーミングETLは,リレーショナルデータウェアハウスからリソースを解放するために使用している。このソリューションはデータウェアハウスのロード向上と遅延の低減,プラットフォームのスケーラビリティ向上に貢献する。

氏らは準リアルタイム販売や価格監視,支払不正の検出といった,ストリーミング処理の将来的な応用例についても言及した。これらのユースケースに対しては,BPMやFlinkのCEPライブラリのための複合イベント処理,状態機能といったものが使用される予定だ。

両氏が紹介したイベントストリーム処理に関する詳細は,同社のブログWebサイトを参照してほしい。

 

 
 

この記事を評価

関連性
スタイル
 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT