InfoQ

News

AmazonがEC2向けHadoopベースのMapReduceをリリース

作者 Scott Delap , 翻訳者 ガーナー 淳子 投稿日 2009年4月17日 午前5時52分

コミュニティ
Java
トピック
グリッドコンピューティング ,
クラウドコンピューティング
タグ
MapReduce ,
EC2 ,
Hadoop

原文(投稿日:2009/4/2)へのリンク

ポピュラーになったApache Hadoop(参考記事) MapReduceフレームワークをAmazon EC2(参考記事)上で実行する方法を詳しく述べているチュートリアルが、かなり長期に渡り利用可能になっている。Amazonは4月2日にAmazon Elastic MapReduceによる公式サポートを提供し、そのレベルアップを行った。以下はその製品情報ページ(リンク)からである。

Amazon Elastic MapReduceはAmazon EC2インスタンス上で自動的にMapReduceフ レームワークのHadoop実装を行い、並列処理ができるようジョブ・フロー中のデータを細分化し(「map」機能)、最後に処理データを最終結果に再結 合します(「reduce」機能)。Amazon S3は分析対象データのソースおよび最終結果の出力先としての役割を果たします。

Amazon Elastic MapReduceの価格設定は既存のEC2料金に15%追加となっている。FAQ(リンク)には価格設定および使用法の詳細が記されている。AWSの公式ブログ(リンク)にも、サービスのカバー範囲が記載されている。

…Elastic MapReduceで の処理は、ジョブ・フローのコンセプトを中心に展開されています。各ジョブ・フローには1つ以上のステップがあります。それぞれのステップはAmazon S3からある程度の量のデータを取り込み、Hadoopを実行する特定数のEC2インスタンスに分配し(必要に応じインスタンスを起動します)、全ての作 業を行います。その後S3に結果を返します。各ステップはアプリケーション、すなわち特定の「mapper」や「reducer」コード(ストリーミン グ・モデルを介して使うためのJava JARまたはスクリプト・コード)を参照しなくてはいけません。私たちは、Sum、Min、Max、Histogram、そしてCountといった複数の 共通オペレーションのビルトイン・サポートを伴うAggregate Packageも追加しました。コードを書き始める前に多くのことを終わらせることができるのです。

私たちはElastic MapReduceに対して3つの異なるアクセス・ルートを設けています。Elastic MapReduce APIによって完全なコントロールをすることができますし、あるいはElastic MapReduceコマンドライン・ツールも使用できます。またAWS Management ConsoleのElastic MapReduceタブではポインタの移動とクリックだけで全てを行うことができます。ではそれぞれを簡単に見てみましょう…

ZDNetのDana Gardner氏はビジネス・インテリジェンス・マーケットへ向けたAmazonの新サービス実施について考えをめぐらせている(リンク)

特集コンテンツ一覧

Scala+Liftによる超実用開発

オブジェクト指向と関数型の機能をすべて提供し、さらにRubyに代表される動的言語の柔軟性と静的型付け言語の信頼性をも兼ね備え、JavaVMの上で開発実行できる新時代の言語がScalaだ。Scalaとその上で使える強力なWebフレームワークLiftを用いた実システム開発が世界的に広がっているが、今回は日本での実システム開発の事例とScala採用の理由をインタビュー+プレゼン形式で語ってもらう。

マネージャ 2.0: スクラムでのマネージャの役割

スクラムはマネージャの役割を定義しない。この記事ではPete Deemer氏がスクラムが果たす役割や選択肢について考察する。この考察にはマネージャの役割の再定義やマネージャをスクラムマスタに任命することも含む。

学習の科学: 脳にとって最善のアプローチ

ある意味、私たちはみんな先生です。ところが、プロの教育者だけがこの分野のトレーニングを受けています。この記事では神経細胞からの教えとそのアジャイルソフトウェア開発などへの適用方法について説明します。

GroovyServ —高速起動Groovy—

GroovyServは、筆者が所属しているNTTソフトウェア株式会社において、Apache License, Version 2.0に基づき開発・公開しているオープンソースソフトウェアです。GroovyServの基本的なアイデアの説明に始まり、実際の効果を示した上で、導入方法と簡単な使い方、応用例などについても説明します。最後に、適用条件と制約について言及します。

GroovyServ —高速起動Groovy—

GroovyServは、筆者が所属しているNTTソフトウェア株式会社において、Apache License, Version 2.0に基づき開発・公開しているオープンソースソフトウェアです。本記事ではGroovyServを紹介します。GroovyServの基本的なアイデアの説明に始まり、実際の効果を示した上で、導入方法と簡単な使い方、応用例などについても説明します。

丸山不二夫氏が語る― Android ”Cloud to Device Messaging Framework” 概要

Android2.2 Froyoで導入された”Cloud to Device Messaging (C2DM) Framework”は、Androidの利用スタイルに大きな変化をもたらす可能性があります。そこで、日本Androidの会 丸山不二夫会長による、「C2DMの概要」についての講演の模様を紹介します。

アジャイルの限界

アジャイルのスイート・スポットの外はアジャイルの手法を適用するするのはコストがかかり障壁もある。このような障害物はアジャイルの適用そのものの適用を妨げるものではないが、アジャイル実践のコストを増大させる。

マルチタスクで仕事は遅くなる

Juggling Balls

個人がマルチタスクで仕事をした場合、非効率で遅くなることは今ではよく知られている。Roger Brown氏は同じ問題を抱える厄介なチームで明示する。