BT

Brisk - 低遅延アプリケーションとHadoop/Hive分析用のBig-Dataプラットフォーム

| 作者: Boris Lublinsky フォローする 0 人のフォロワー , 翻訳者 編集部N フォローする 0 人のフォロワー 投稿日 2011年3月29日. 推定読書時間: 3 分 |

原文(投稿日:2011/03/25)へのリンク

2つの人気のあるBigTableのオープンソース実装-HBaseCassandraの競争が、DataStaxからの新製品、Brisk、CassandraをベースにしたHadoop実装によって加速してきた。DataStaxの製品VPであるBen Werther氏によると、

「リアルタイム」なweb規模のアプリケーションとHadoopでできる大量データ分析のようなものの両方を1つのプラットフォームで提供する考えである。企業からよく耳にするのは、彼らが必要なのは、完璧なBig Dataイメージで、リアルタイムな低遅延アプリケーションからデータ分析ツール、そしてそのようなツールを使って実際にデータをアプリケーションに戻せる能力なのです。

Digital ReasoningのCEOであるTim Estes氏が 更に説明している

Cassandraの力(その単純さ、スケーラビリティ、早い読み書き)とHadoopを合体して、DataStaxは、データ生成と分析の間の時間を高速化する強力なシステムを作りました。Cassandraの唯一無二の能力のおかげで、複数の場所にデーターセンターを持ち、複雑な大量データを取り込む必要のあるプロジェクトに対応できるのです。我々は、DataStaxチームの能力を最も要求レベルの高い顧客(特に 国防と諜報分野)に注ぎ込むことに、非常に興奮しました。

Cassandraの最初の開発元であるFacebookは、ソーシャル メール製品に、Cassandraではなく、非常に一貫性のあるフィーチャを持つ、という理由でHBaseを使っている。DataStaxは、逆方向に進んでおり、CassandraとHadoopを一緒にした。DataStaxで製品部門のVPである Ben Werther氏によると、

Hbaseは、Cassandraに比べて未だ成熟してませんし、HDFS上に作られているのでスケーラビリティも信頼性も未知数です。Cassandraは、Hadoopスタックのより低レベルな部分の全機能を提供できますが、同時に、同じにインフラで低遅延なリアルタイム アプリケーション能力も提供できるのです。Cassandraの設計のもっと素晴らしいところは、Briskインフラで、分析に焦点を当てている部分と低遅延アプリケーションを処理する部分の両方を持てることです。Hiveでクエリを書けば、Briskをリアルタイム インフラとして使えますし、Hiveで戻されたものを直ちにアプリケーションは、使えます。

Briskは、Hadoop MapReduceとHiveの両方を持っており、入手が容易なハードウェアで、クラスタを跨いで、高速な計算処理をさせることができる。しかし、Cassandraによって強化されている互換のストレージ層を使うので、Hadoop HDFSファイルシステムを使わない。同時にCassandraをその目的通りに使うことができる。すなわち、リアルタイム アプリケーション用のデータベースとしてである。また、Briskは、いくつかのHadoopにある単一障害点を取り除いていない。開発者向け文書によると Hadoop/Cassandraクラスタ設定は、依然必要である。

クラスタ中の1サーバーは下記のHadoopコンポーネント専用でなければならない。
  • JobTracker
  • datanode
  • namenode
この専用サーバーが必要なのは、ジョブ、静的データ、他の必要な情報のためのJAR依存関係を保持するのに、Hadoopは、HDFSを使っているからである。クラスタ中全体の文脈では、これは、非常に小さなデータ量であるが、MapReduceジョブを動かすには、重大なものである。

現在のところ、Briskは、まだ話の域をちょっと出たぐらいである。プラットフォームは、実運用システムでは使われていない。オープンソース化もされていない。しかし、いずれにせよ、注目を集める提案である。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

特集コンテンツ一覧

.NETの派生を理解する

Wayne Citrin 2018年7月18日 午前3時44分

ASP.NET Core - シンプルの力

Chris Klug 2018年6月4日 午前3時26分

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT