BT

InfoQ ホームページ ニュース Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

ブックマーク

原文(投稿日:2015/02/25)へのリンク

GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。

MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ。プロジェクトの目的は、MapReduceフレームワークの詳細を抽象化し、ユーザが独自のアルゴリズム開発にフォーカスできるようにするところにある。

このフレームワークはもともと、Skyboxチームによって、衛星画像処理と地理空間データサイエンスのユースケースのために開発された。彼らが必要としていたのは、CやC++で開発された画像処理ライブラリを、スケーラブルなデータ処理に適したHadoopのジョブトラッキングおよびクラスタ管理とともに活用することだった。

MR4Cでは、アルゴリズムはネイティブの共有オブジェクトに格納され、ローカルファイルやURIにあるデータにアクセスする。また、インプット/アウトプット・データセットやランタイムパラメータ、その他の外部ライブラリは、JSONを使って設定する。Mapperの分割とリソースの割り当てはApache YARNベースのツールを使って(Hadoop v2の場合)、もしくはMapReduce Version 1のためのクラスタレベルで設定することができる。自動生成された設定を使って、複数のアルゴリズムのワークフローをつなぎ合わせることもできる。またフレームワークはログや進捗レポートのためのコールバックもサポートしており、Hadoop JobTrackerインターフェイスを使って閲覧できる。ターゲットのHadoopクラスタで使われるのと同じインターフェイスを使って、ワークフローをローカルマシン上でテストすることもできる。

フレームワークの詳細については、MR4C GitHub Webサイトにあるドキュメントとソースコードを参照してほしい。プロジェクトへのコントリビュートに関心がある人は、チームが作っているコントリビュータ向けのWebページを参照しよう。

 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。