今週のHadoop Worldにて、MembaseとClouderaは、Membase ServerとCloudera’s distribution for Hadoopとのインテグレーションを発表した。InfoQがレポートしたように、Membaseは先日リリースされたNoSQLデータベースだ。Hadoopは分散ストレージとMap-Reduce処理フレームワークを含んだオープンソースプロジェクトだ。カンファレンスでは、AOL AdvertisingとShareThisが本インテグレーションの広告ターゲッティングおよび配信プラットフォームへの利用について紹介した。
Membaseの共同創業者でプロダクト担当SVPであるJames Phillips氏は次のように書いている。
テクノロジーインテグレーション面において、私たちは顧客に対して、MembaseとCloudera Distribution for Hadoop (CDH)をインテグレーションする2つの仕組みを開発し利用可能にしました。ひとつはMembase NodeCodeモジュールです。これを使うと、MembaseからCDHへリアルタイムにデータを流すことができます。新しいオペレーショナルデータがMembaseに入ると、それはリアルタイムに送られ、処理のためのCDHクラスタに投入されます。もうひとつはSqoopによるバッチローダーユーティリティです。これはMembaseからCDH、もしくはその逆へのデータのロードを可能にします。
Membaseのシステムエンジニア、Perry Krug氏によると、リアルタイムインテグレーションはClouderaのFlumeプロジェクトを利用して、Membaseの更新をイベントとして渡し、Hadoop分散ファイルシステムに格納しているそうだ。
AOLのチーフアーキテクト、Pero Subasic氏はこう指摘した。
AOLは広告配信プラットフォームから1日に膨大なインプレッションを扱っています。処理時間を段階的に改善することは、契約上の義務を満たすのに必要とされる、効果的な広告配信を可能にするという大きな利益をもたらします。従来のデータベースには読み書き5msという目標を実現するのに必要なスケーラビリティがありませんでした。Hadoopでユーザプロファイルを作ってMembaseから提供することによって、プロファイルの読み書きアクセスを1ms以下に削減し、処理のためのタイムバジェットの大部分をターゲッティングとカスタマイゼーションの改善に使うことができます。
ClouderaのCEO、Mike Olson氏はこう述べた。
Membase ServerとCloudera's Distribution for Hadoopのインテグレーションは顧客にとって関心のある補完機能をもたらします。それがラグタイムなしと言っていいくらい高度に最適化されたデータ配信システムです。このリアルタイム処理能力は、判断を要するどんなソリューションにも重要なものです。これには広告ターゲッティングやソーシャルゲームも含まれます。
インテグレーションソフトウェアのリリースに加えて、Phillips氏はClouderaとMembaseは"広告配信、コンテントターゲッティング、ログおよびイベントストリームキャプチャおよび分析、ソーシャルゲーム"の共同ソリューションの構築で協力していると述べた。