BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Hadoop Summit 2010からAmazon Elastic MapReduceをアップデート

Hadoop Summit 2010からAmazon Elastic MapReduceをアップデート

ブックマーク

原文(投稿日:2010/07/13)へのリンク

2010年の Hadoop Summit で、Amazon の Elastic MapReduce (EMR)のGeneral Manager である Peter Sirota氏の基調講演があった。EMRは、Amazonによるホスト型Hadoop製品で、webベースの管理ツールを含んでいる。氏は、彼らの顧客に共通な以下のユースケースを概略した:

  • データマイニングとビジネス・インテリジェンス、その中には、ログの処理、クリック履歴分析、類似分析、そしてターゲットを絞った広告(彼が言うところの「巨大なユースケース」)を含む。
  • 特にPig と Hive を使ったデータウェアハウス
  • 生物情報科学(ゲノム分析)
  • 金融シミュレーション(例:モンテカルロ シミュレーション)
  • ファイル処理(例:jpegのサイズ変更)
  • webインデクス

Sirota氏は、顧客はAmazon S3 ストレージ システムに数100PB(ペタバイト)保存できる,と言った。彼のアナウンスによると、今、Amazonは、 Hadoop 0.20ベースの新しいスタックをサポートし、同時に、「すぐには、消えない」Hadoop 0.18 ベースのスタックもサポートする。Amazon EMR ソフトウェアは、彼らの管理コンソールに統合され、Amazonの S3クラウド ストレージ施設とネイティブに連携している。

新スタックk
旧スタック
Hadoop 0.20 Hadoop 0.18
Pig 0.6 Pig 0.3
Hive 0.5 Hive 0.4
Cascading 1.1 Cascading 1.1

Sirota 氏が言うには、顧客は、動作中クラスタの更なる柔軟性、より良いアプリケーション開発ツール、分析論の改善そしてサポート オプションの改善を望んでいる。それから彼は、各領域での新しい機能とパートナーシップを公表した。彼が言うには、顧客が動作中のクラスタにノードを増やしたり、減らしたりできるようになる。既に動作しているジョブの実行が調整できるので,終了するまでに後6時間かかると予想されるジョブの計算能力を倍にして、3時間で終わるようにできる。彼はまた、この機能により、顧客は,クラスタのサイズを都合よく変更できるので、Hiveを使ってクエリに答えるには、少数のノードで処理し、Hadoopシステムをアップデートための、より大きなバッチ処理には、クラスタを大きくできる,そしてこの間、同じEMRクラスタは動作を続けたままである、と言った。

氏は、またEMRのスポット価格が近々決まると、予告した。EC2キャパシティの マーケット価格 をEMRに拡張したものである。これによって、追加ノード数を競売できるようになる。もし競売価格でキャパシティが入手できるなら、EMRクラスタにノードを追加し、もしマーケット価格が競売価格より高くなったらノードを減らすことができる。彼が話したのは、あるジョブを、オンデマンドのノードを4つと追加でスポットのノードを5つ加えて、行なう例だった。このオプションは、計算を終わらせる時間について、もっと柔軟性のある環境に対しては、、コスト削減をもたらす。

氏は、またEMRのサポートに、新しく silver と gold premiumレベルが加わったことを公表した。 goldサポートは、 7x24 で、緊急の問題に対しては、1時間のレスポンス時間を保証する。Amazonのパートナーとして、Karmasphere が開発ツールと監視、Datameer がビジネス ユーザ分析、そして Microstrategy がEMRサポートを含んだ、Hadoopサポート全般とHiveによるビジネスインテリジェンス ツールとの統合を提供する、と氏は語った。

Amazonは、 Hadoop Summitで Elastic MapReduceの顧客によるパネルを主催したが、Razorfish, Netflix, Spiral Genetic, そして Coldlight Solutions からのケーススタディを呼び物にした。 James Hamilton氏によってまとめられている

Amazon は、 Elastic MapReduce の改善に、引き続き相当の投資をしていることを示した。またホスト型製品で作られている大規模なアプリケーションについて、興味ある見識も、ある程度明らかにしてくれた。

この記事に星をつける

おすすめ度
スタイル

BT