BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

原文(投稿日:2015/02/25)へのリンク

GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。

MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ。プロジェクトの目的は、MapReduceフレームワークの詳細を抽象化し、ユーザが独自のアルゴリズム開発にフォーカスできるようにするところにある。

このフレームワークはもともと、Skyboxチームによって、衛星画像処理と地理空間データサイエンスのユースケースのために開発された。彼らが必要としていたのは、CやC++で開発された画像処理ライブラリを、スケーラブルなデータ処理に適したHadoopのジョブトラッキングおよびクラスタ管理とともに活用することだった。

MR4Cでは、アルゴリズムはネイティブの共有オブジェクトに格納され、ローカルファイルやURIにあるデータにアクセスする。また、インプット/アウトプット・データセットやランタイムパラメータ、その他の外部ライブラリは、JSONを使って設定する。Mapperの分割とリソースの割り当てはApache YARNベースのツールを使って(Hadoop v2の場合)、もしくはMapReduce Version 1のためのクラスタレベルで設定することができる。自動生成された設定を使って、複数のアルゴリズムのワークフローをつなぎ合わせることもできる。またフレームワークはログや進捗レポートのためのコールバックもサポートしており、Hadoop JobTrackerインターフェイスを使って閲覧できる。ターゲットのHadoopクラスタで使われるのと同じインターフェイスを使って、ワークフローをローカルマシン上でテストすることもできる。

フレームワークの詳細については、MR4C GitHub Webサイトにあるドキュメントとソースコードを参照してほしい。プロジェクトへのコントリビュートに関心がある人は、チームが作っているコントリビュータ向けのWebページを参照しよう。

 

この記事に星をつける

おすすめ度
スタイル

BT