BT

Hadoop-as-a-Service提供のQuboleがGoogle Compute Engine上で稼働可能に

| 作者: Michael Hausenblas フォローする 1 人のフォロワー , 翻訳者 株式会社オープンストリーム 中村 フォローする 0 人のフォロワー 投稿日 2014年1月28日. 推定読書時間: 3 分 |

原文(投稿日:2013/12/28)へのリンク

マネージドHadoop-as-a-Serviceを提供するQuboleがGoogle Compute Engine (GCE)上で利用可能となった。QuboleはこれまでAmazon社のAWS上のみで利用可能だったが、この発表はGoogle Compute Engineの一般提供が開始されたほんの数日後に行われた。

コニュニティの反応は概して好調で、皆ビッグデータのテーマをGCEのキラー・アプリケーションとなる見込みがあると見なしているようだ。DataStax社のAlex Popescu氏はこのように見ている。

Google Compute Engineに関連する各社の発表を見ていると、あるテーマに気付くだろう。OLTPにはDataStax社のCassandra/DSE, ストリーム処理にはDataTorrent, HadoopにはQubole, HadoopライクなソリューションにはMapR…など、あらゆる角度からデータを扱うということだ。この流れを見ていると、Google Compute EngineはAmazon Web Servicesの強力なライバルとなるであろうことが伺える。

Hadoop-as-a-Service(HaaS、またはクラウド上のHadoop)と並ぶ選択肢は下記のようになる。

  • GCEやEC2のようなIaas環境にてApache Hadoop, もしくはCloudera, Hortonworks, MapRなどのディストリビューションをインストールする、独自でのデプロイ管理。稼働しているものに対するきめ細やかなコントロールが可能だが、デプロイや管理の複雑性を伴う。
  • デプロイ時の複雑性の軽減に役立ち、インストールされたサービス上での中間レベルの制御を提供する、Amazon社のEMRやSavvis社の提供するBig Dataサービスのようなプレパッケージ型サービス。
  • デプロイや管理の複雑性を軽減することが期待できる、QuboleやMortarのようなマネージドHaaS

HaaSとオンプレミスデプロイの決定的な違いは、融通性、スポット価格、処理とストレージ(たとえば、Amazon社のS3やGoogle社のCloud Storageeのような一貫性のあるオブジェクトストア)との分離、そしてセキュリティ基準の強化にある。QuboleのようなマネージドHaaSは開発時に、評価やテスト、短時間解析ジョブやハイブリッドクラウドセットアップを実現する用途でよく利用される。しかし、下記のような独自の制限もある。

  • クラウドへのデータ投入とデータ再出力は独自価格となる
  • 法的要件に起因するプライバシーとデータ保護の問題がユースケースを防止または制限する可能性がある
  • TCOの24時間オペレーションは個々の状況に応じて判断する必要がある
  • Hadoop, Hive等と一貫性のあるオブジェクトストアとの間に一般的な不整合が存在する

Ashish Thusoo氏とJoydeep Sen Sarma氏はFacebook在職中にデータインフラストラクチャチームを管理し、HadoopとHiveを稼働させる経験を積んだ。その後2012年6月にQuboleを立ち上げ、2013年4月にはシリーズAラウンドで700万ドルもの資金調達を受けるまでに至った。Joydeep氏はHive London Meetupでの講演「クラウドフレンドリーなHadoop & Hive」にて、HaaS提供を実施するにあたって直面した課題とその内部についての見識を掘り下げて分析している。さらに、Christian Prokopp氏(Rangespan社のデータサイエンティスト)は最近、詳細な概要報告と、QuboleとEMRの比較についてまとめている

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT