AmazonがEC2向けHadoopベースのMapReduceをリリース

作者 Scott Delap , 翻訳者 ガーナー 淳子 投稿日 2009年4月17日

セクション

運用/インフラ,

設計/アーキテクチャ,

デベロップメント,

エンタープライズ・アーキテクチャ

トピック

Java ,

グリッドコンピューティング ,

クラウドコンピューティング

タグ

EC2 ,

MapReduce ,

Hadoop

原文(投稿日：2009/4/2)へのリンク

ポピュラーになったApache Hadoop(参考記事) MapReduceフレームワークをAmazon EC2(参考記事)上で実行する方法を詳しく述べているチュートリアルが、かなり長期に渡り利用可能になっている。Amazonは4月2日にAmazon Elastic MapReduceによる公式サポートを提供し、そのレベルアップを行った。以下はその製品情報ページ(リンク)からである。

Amazon Elastic MapReduceはAmazon EC2インスタンス上で自動的にMapReduceフ レームワークのHadoop実装を行い、並列処理ができるようジョブ・フロー中のデータを細分化し（「map」機能）、最後に処理データを最終結果に再結 合します（「reduce」機能）。Amazon S3は分析対象データのソースおよび最終結果の出力先としての役割を果たします。

Amazon Elastic MapReduceの価格設定は既存のEC2料金に15％追加となっている。FAQ(リンク)には価格設定および使用法の詳細が記されている。AWSの公式ブログ(リンク)にも、サービスのカバー範囲が記載されている。

…Elastic MapReduceで の処理は、ジョブ・フローのコンセプトを中心に展開されています。各ジョブ・フローには1つ以上のステップがあります。それぞれのステップはAmazon S3からある程度の量のデータを取り込み、Hadoopを実行する特定数のEC2インスタンスに分配し（必要に応じインスタンスを起動します）、全ての作 業を行います。その後S3に結果を返します。各ステップはアプリケーション、すなわち特定の「mapper」や「reducer」コード（ストリーミン グ・モデルを介して使うためのJava JARまたはスクリプト・コード）を参照しなくてはいけません。私たちは、Sum、Min、Max、Histogram、そしてCountといった複数の 共通オペレーションのビルトイン・サポートを伴うAggregate Packageも追加しました。コードを書き始める前に多くのことを終わらせることができるのです。

私たちはElastic MapReduceに対して3つの異なるアクセス・ルートを設けています。Elastic MapReduce APIによって完全なコントロールをすることができますし、あるいはElastic MapReduceコマンドライン・ツールも使用できます。またAWS Management ConsoleのElastic MapReduceタブではポインタの移動とクリックだけで全てを行うことができます。ではそれぞれを簡単に見てみましょう…

ZDNetのDana Gardner氏はビジネス・インテリジェンス・マーケットへ向けたAmazonの新サービス実施について考えをめぐらせている(リンク)。

• 次へ >