BT

Corona、FacebookにおけるHadoopのスケーラビリティを改善する

| 作者: Roopesh Shenoy フォローする 0 人のフォロワー , 翻訳者 笹井 崇司 フォローする 0 人のフォロワー 投稿日 2012年11月19日. 推定読書時間: 1 分 |

原文(投稿日:2012/11/15)へのリンク

 

FacebookがCoronaをオープンソース化した。これはFacebookがHadoop MapReduceのスケジューリングを改善するために自社開発したソフトウェアだ。

Coronaは2つの重要なタスク、クラスター管理とジョブトラッキングから構成される。これはMapReduceスケジューラ/リソースマネージャーを改善するApache YARNのコンセプトと非常によく似ている。FacebookのエンジニアがCoronaについて、その背景を含めて説明している。彼らはYARNを再利用しなかった理由をこう説明する。

CoronaではなくApache YARNを使う可能性についても検討していたことも言っておくべきでしょう。しかしながら、(何ペタバイトものアーカイブデータによる強い要件がある)HDFSの私たちのバージョン上でYARNが使えるか調査した結果 、修正に膨大な時間がかかる、リスクの高い非互換性が多数あることがわかりました。それに、YARNがいつFacebook規模の負荷環境で動くようになるか、私たちにはわかりませんでした。

HadoopのFacebookバージョンにおける大きな違いのひとつがAvatarNodeだ。これはクラスタにおける全ノードのホットスタンバイを作る。そして可用性の高いNameNodeを作って、ダウンタイムなしにソフトウェアアップグレードすることまでできる。データウェアハウスにおける何百ペタバイトものデータ(毎日0.5ペタバイトもの新しいデータがやってくる)を処理するような会社にとって、これは極めて重要だ。

現在のところ、CoronaはMapReduceジョブを実行できるが、FacebookはPeregrineのような他のアプリケーションからのジョブのスケーリングにも使おうとしている。

Apache Hadoopは大規模分散コンピューティングを可能にするプロジェクト群だ。InfoQのHadoopに関するリソースを見てみよう。

 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT