6年間の熟成の後、オープンソースの分散コンピューティングとBig Dataフレームワークである Apache Hadoop 1.0.0 が最近 リリースされた。新リリースのコアフィーチャには以下のものが含まれる。
- セキュリティ（ Kerberos認証プロトコルによる強固な認証方式）
- Apache HBaseのサポート（トランザクションロギングへの sync と flushのサポート）。hflush/sync が進行中の時でさえ、HDFSクライアントに新しく書き込みができるようになった。
- Webhdfs は Hadoop Distributed File System (HDFS)に対する RESTful APIを含む。このフィーチャは、 HTTPによるHDFSアクセスの完全なファイルシステムの実装として、webhdfsを提供する。
- Hbaseのローカルファイルへのアクセスがパフォーマンス向上した
新しいリリースの他のフィーチャ には、ある程度のパフォーマンス向上、バグ修正とフィーチャがある。
InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に1.0.0リリースにおけるフィーチャと次のリリースにどのようなフィーチャが入るのかを聞いた。
InfoQ: 6年もの開発を終えて Apache Hadoop 1.0.0がリリースされました。なぜ最初のリリースにそんなに長くかかったのですか？
Arun Murthy: Apache Hadoopは、既に Yahoo, Facebookなどの幾つもの大企業で実運用環境で使われています。 1.0.0という呼称は、このリリースは実際に成熟したものであり、 Apache Hadoopコミュニティが様々な企業における広範囲なユースケースに対して、近い将来でもちゃんとサポートできる自信があるものである、というコミュニティからの声明なのです。こうすることで、エンドユーザーと企業の信頼を増し、 Apache Hadoop採用を増やす助けになります。
InfoQ: 認証、アクセスコントロール、データ暗号化の点で、 どのようなタイプのセキュリティフィーチャがこのリリースには含めれていますか？
Arun:1.0.0はHDFS（ストレージ用のファイルシステム）と MapReduce（データ処理）の両方に対して、強固な徹底したKerberosベースの認証をサポートしています。Kerberosは企業で使われているネットワーク認証プロトコルでは断トツで人気があります。
またアプリとデータのあらゆるレベルで強固なアクセスコントロールを提供します。例えば、確実にある個人（あるいはある一定のユーザー集合）だけが走っているアプリを見たり、アプリのログを見ることができるようになります。
InfoQ: 新リリースでのパフォーマンス向上について話してくれますか？
Arun:いくつかの改善点があります。一番の例は、アプリケーションに対して行ったローカル－リードの最適化で、例えば Apache HBaseでは素晴らしく速くなります（2倍になる場合があります）。
InfoQ:Hadoopの次のバージョンのリリースには、どのような新しいフィーチャを予定してますか？
Arun: Apache Hadoopの次のメジャーなリリースは現在アルファ段階で2012年の中頃にはリリースの予定です。主要なフィーチャには以下のものがあります。
- HDFS（ファイルシステム）の高可用性－ファイルシステムのSPOF（単一障害点）問題を解決します
- HDFS Federationにより少なくとも4,5倍、FS ネームシステムを拡大して、ずっと大きなクラスタを作れます（クラスター中のノードとネームシステム中のファイル数の両方において）
- 次世代MapReduce（いわゆるYARN）は、Hadoopが単にMapReduceアプリケーションをサポートすることから一般用途の、分散型計算ファブリックに変わり、 MapReduce, Message Passing Interface (MPI), 反復プログラミングなどのような複数パラダイムが同一のHadoopクラスタ内で、同時にサポートできます。これにより、Hadoopはずっと大きなクラスタ（ 6000 - 10000ノード）をサポートでき、計算ファブリックの高可用性をサポートできるようになります。
氏はまた、Apache Hadoop の次バージョンは多くの企業級フィーチャ、例えば高可用性でHadoopを著しく改善し、Hadoopが企業における、より広範囲なユースケース（すなわち次世代MR、いわゆるYARN)で使われるようになる、と思うと言った。
Srini Penchikala 氏は現在セキュリティアーキテクトとして働き、ソフトウェア製品マネージメントで17年の経験を持つ。