BT

GreenplumのPivotal HDがSQLのパワーとHadoopを結合する

| 作者: Abel Avram フォローする 10 人のフォロワー , 翻訳者 吉田 英人 フォローする 0 人のフォロワー 投稿日 2013年3月6日. 推定読書時間: 3 分 |

原文(投稿日:2013/02/27)へのリンク

 

EMC Greenplum が新しいHadoopディストリビューションの Pivotal HD を発表した。HDFS上で "Hiveより数百倍高速" に動作するという,SQL完全準拠のMPPデータベースを備える。

Pivotal HD は標準的なHadoopディストリビューション – HDFS,Pig,Hive,Mahout,MapReduceなど – の持つ特徴に加えて,下記のアーキテクチャ・スナップショットに示すような多数のコンポーネントを含んでいる。 

Pivitalのメインコンポーネントは,MPP (Massively Parallel Processing/超並列処理) リレーショナルデータベースのHAWQだ。動的パイプライン機構を通じてHadoopのHDFS上で直接動作するこのデータベースは,次のような特徴を持っている。

  • SQL準拠 – '92,'93,2003 OLAPなど,全バージョンのSQLをサポートする。PostgreSQL 8.2と100%互換。
  • 行または列指向のデータストレージ。
  • クエリ・オプティマイザ – 数十万のノード上でクエリの分散実行が可能。
  • ODBC/JDBC完全準拠。
  • インタラクティブ・クエリ – 巨大なデータを扱う複雑なクエリでも,秒ないしサブ秒のオーダで解析する。
  • データ管理 – テーブルの統計情報とセキュリティを提供する。
  • HDFS,Hive,HBase,Avro,ProBufに格納されたデータ,区切りテキスト,シーケンスファイルをサポートする。
  • Deep Analytics – データマイニング,機械学習アルゴリズムなどを備える。

Greenplumのシニアディレクタ兼エンジニアであるGavin Sherry氏が行ったデモ (ビデオ: 42'42"付近) では,60ノードHDFSクラスタ上の10億行,合計で数TBに及ぶデータを対象として,以下のSQL SELECT文を13秒以内で実行するという,ほぼリアルタイムのクエリ機能が披露されている。

 

SELECT gender, count (*)

 

FROM retail.order JOIN customers ON retail.order.customer_ID = customers.customer_ID

GROUP BY gender;

EMC Greenplumのソリューションアーキテクトである Donald Miner 氏によると,同社が提供する次の図(PDF)に示すように,"HAWQはHiveの数百倍高速” だ。 

HAWQは"巨大なデータセットを対象に,SQLの機能をフル活用するような処理を,単一エンジン上で複数同時に実行するような場合でも,1秒未満のレスポンスタイムで" クエリを処理することができる。そのようなことが可能な理由を,Miner氏は次のように説明する。

このシステムでは,各テーブルの部分を管理する "セグメントサーバ" という概念を持っています。クラスタの各データノードで複数のセグメントサーバが動作します。データの各セグメントはすべてHDFS内部に格納されています。"マスタ"ノードがトップレベルのメタデータの格納を行うと同時に,クエリプランを構築し,各ノードで実行するクエリをセグメントサーバに配信するのです。

クエリが起動するとデータがHDFSから読み出されて,HAWQ実行エンジンへと渡されます。HAWQはMPPアーキテクチャに従って,パイプラインの各ステージ経由でデータをストリーミングします。ディスクへの保存やチェックポイントの記録 (MapReduceのような) は行いません。さらにセグメントサーバは常時実行していますので,スピンアップの時間も不要になります。

Pivotal HDは3種類のパッケージ (PDF: Enterprise,Database Services, 評価用のCommunity Edition) で提供されている。

 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT