BT

Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

| 作者: Srini Penchikala フォローする 34 人のフォロワー , 翻訳者 笹井 崇司 フォローする 0 人のフォロワー 投稿日 2015年3月8日. 推定読書時間: 1 分 |

原文(投稿日:2015/02/25)へのリンク

GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。

MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ。プロジェクトの目的は、MapReduceフレームワークの詳細を抽象化し、ユーザが独自のアルゴリズム開発にフォーカスできるようにするところにある。

このフレームワークはもともと、Skyboxチームによって、衛星画像処理と地理空間データサイエンスのユースケースのために開発された。彼らが必要としていたのは、CやC++で開発された画像処理ライブラリを、スケーラブルなデータ処理に適したHadoopのジョブトラッキングおよびクラスタ管理とともに活用することだった。

MR4Cでは、アルゴリズムはネイティブの共有オブジェクトに格納され、ローカルファイルやURIにあるデータにアクセスする。また、インプット/アウトプット・データセットやランタイムパラメータ、その他の外部ライブラリは、JSONを使って設定する。Mapperの分割とリソースの割り当てはApache YARNベースのツールを使って(Hadoop v2の場合)、もしくはMapReduce Version 1のためのクラスタレベルで設定することができる。自動生成された設定を使って、複数のアルゴリズムのワークフローをつなぎ合わせることもできる。またフレームワークはログや進捗レポートのためのコールバックもサポートしており、Hadoop JobTrackerインターフェイスを使って閲覧できる。ターゲットのHadoopクラスタで使われるのと同じインターフェイスを使って、ワークフローをローカルマシン上でテストすることもできる。

フレームワークの詳細については、MR4C GitHub Webサイトにあるドキュメントとソースコードを参照してほしい。プロジェクトへのコントリビュートに関心がある人は、チームが作っているコントリビュータ向けのWebページを参照しよう。

 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT