Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート

作者 Srini Penchikala , 翻訳者 編集部Ｎ 投稿日 2012年1月17日

セクション

エンタープライズ・アーキテクチャ,

運用/インフラ,

設計/アーキテクチャ,

デベロップメント

トピック

データベース設計 ,

Hadoop ,

データベース ,

アナウンス ,

MapReduce

共有 |

原文(投稿日：2012/01/13)へのリンク

6年間の熟成の後、オープンソースの分散コンピューティングとBig Dataフレームワークである Apache Hadoop 1.0.0 が最近 リリースされた。新リリースのコアフィーチャには以下のものが含まれる。

• セキュリティ（ Kerberos認証プロトコルによる強固な認証方式）
• Apache HBaseのサポート（トランザクションロギングへの sync と flushのサポート）。hflush/sync が進行中の時でさえ、HDFSクライアントに新しく書き込みができるようになった。
• Webhdfs は Hadoop Distributed File System (HDFS)に対する RESTful APIを含む。このフィーチャは、 HTTPによるHDFSアクセスの完全なファイルシステムの実装として、webhdfsを提供する。
• Hbaseのローカルファイルへのアクセスがパフォーマンス向上した

新しいリリースの他のフィーチャ には、ある程度のパフォーマンス向上、バグ修正とフィーチャがある。

InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に1.0.0リリースにおけるフィーチャと次のリリースにどのようなフィーチャが入るのかを聞いた。

InfoQ: 6年もの開発を終えて Apache Hadoop 1.0.0がリリースされました。なぜ最初のリリースにそんなに長くかかったのですか？

Arun Murthy: Apache Hadoopは、既に Yahoo, Facebookなどの幾つもの大企業で実運用環境で使われています。 1.0.0という呼称は、このリリースは実際に成熟したものであり、 Apache Hadoopコミュニティが様々な企業における広範囲なユースケースに対して、近い将来でもちゃんとサポートできる自信があるものである、というコミュニティからの声明なのです。こうすることで、エンドユーザーと企業の信頼を増し、 Apache Hadoop採用を増やす助けになります。

InfoQ: 認証、アクセスコントロール、データ暗号化の点で、 どのようなタイプのセキュリティフィーチャがこのリリースには含めれていますか？

Arun:1.0.0はHDFS（ストレージ用のファイルシステム）と MapReduce（データ処理）の両方に対して、強固な徹底したKerberosベースの認証をサポートしています。Kerberosは企業で使われているネットワーク認証プロトコルでは断トツで人気があります。

またアプリとデータのあらゆるレベルで強固なアクセスコントロールを提供します。例えば、確実にある個人（あるいはある一定のユーザー集合）だけが走っているアプリを見たり、アプリのログを見ることができるようになります。

InfoQ: 新リリースでのパフォーマンス向上について話してくれますか？

Arun:いくつかの改善点があります。一番の例は、アプリケーションに対して行ったローカル－リードの最適化で、例えば Apache HBaseでは素晴らしく速くなります（2倍になる場合があります）。

InfoQ:Hadoopの次のバージョンのリリースには、どのような新しいフィーチャを予定してますか？

Arun: Apache Hadoopの次のメジャーなリリースは現在アルファ段階で2012年の中頃にはリリースの予定です。主要なフィーチャには以下のものがあります。

• HDFS（ファイルシステム）の高可用性－ファイルシステムのSPOF（単一障害点）問題を解決します
• HDFS Federationにより少なくとも4,5倍、FS ネームシステムを拡大して、ずっと大きなクラスタを作れます（クラスター中のノードとネームシステム中のファイル数の両方において）
• 次世代MapReduce（いわゆるYARN）は、Hadoopが単にMapReduceアプリケーションをサポートすることから一般用途の、分散型計算ファブリックに変わり、 MapReduce, Message Passing Interface (MPI), 反復プログラミングなどのような複数パラダイムが同一のHadoopクラスタ内で、同時にサポートできます。これにより、Hadoopはずっと大きなクラスタ（ 6000 - 10000ノード）をサポートでき、計算ファブリックの高可用性をサポートできるようになります。

氏はまた、Apache Hadoop の次バージョンは多くの企業級フィーチャ、例えば高可用性でHadoopを著しく改善し、Hadoopが企業における、より広範囲なユースケース（すなわち次世代MR、いわゆるYARN)で使われるようになる、と思うと言った。

Srini Penchikala 氏は現在セキュリティアーキテクトとして働き、ソフトウェア製品マネージメントで17年の経験を持つ。