BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート

Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート

原文(投稿日:2012/01/13)へのリンク

6年間の熟成の後、オープンソースの分散コンピューティングとBig Dataフレームワークである Apache Hadoop 1.0.0 が最近 リリースされた。新リリースのコアフィーチャには以下のものが含まれる。

  • セキュリティ( Kerberos認証プロトコルによる強固な認証方式)
  • Apache HBaseのサポート(トランザクションロギングへの sync と flushのサポート)。hflush/sync が進行中の時でさえ、HDFSクライアントに新しく書き込みができるようになった。
  • Webhdfs は Hadoop Distributed File System (HDFS)に対する RESTful APIを含む。このフィーチャは、 HTTPによるHDFSアクセスの完全なファイルシステムの実装として、webhdfsを提供する。
  • Hbaseのローカルファイルへのアクセスがパフォーマンス向上した

新しいリリースの他のフィーチャ には、ある程度のパフォーマンス向上、バグ修正とフィーチャがある。

InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に1.0.0リリースにおけるフィーチャと次のリリースにどのようなフィーチャが入るのかを聞いた。

InfoQ: 6年もの開発を終えて Apache Hadoop 1.0.0がリリースされました。なぜ最初のリリースにそんなに長くかかったのですか?

Arun Murthy: Apache Hadoopは、既に Yahoo, Facebookなどの幾つもの大企業で実運用環境で使われています。 1.0.0という呼称は、このリリースは実際に成熟したものであり、 Apache Hadoopコミュニティが様々な企業における広範囲なユースケースに対して、近い将来でもちゃんとサポートできる自信があるものである、というコミュニティからの声明なのです。こうすることで、エンドユーザーと企業の信頼を増し、 Apache Hadoop採用を増やす助けになります。

InfoQ: 認証、アクセスコントロール、データ暗号化の点で、 どのようなタイプのセキュリティフィーチャがこのリリースには含めれていますか?

Arun:1.0.0はHDFS(ストレージ用のファイルシステム)と MapReduce(データ処理)の両方に対して、強固な徹底したKerberosベースの認証をサポートしています。Kerberosは企業で使われているネットワーク認証プロトコルでは断トツで人気があります。

またアプリとデータのあらゆるレベルで強固なアクセスコントロールを提供します。例えば、確実にある個人(あるいはある一定のユーザー集合)だけが走っているアプリを見たり、アプリのログを見ることができるようになります。

InfoQ: 新リリースでのパフォーマンス向上について話してくれますか?

Arun:いくつかの改善点があります。一番の例は、アプリケーションに対して行ったローカル-リードの最適化で、例えば Apache HBaseでは素晴らしく速くなります(2倍になる場合があります)。

InfoQ:Hadoopの次のバージョンのリリースには、どのような新しいフィーチャを予定してますか?

Arun: Apache Hadoopの次のメジャーなリリースは現在アルファ段階で2012年の中頃にはリリースの予定です。主要なフィーチャには以下のものがあります。

  • HDFS(ファイルシステム)の高可用性-ファイルシステムのSPOF(単一障害点)問題を解決します
  • HDFS Federationにより少なくとも4,5倍、FS ネームシステムを拡大して、ずっと大きなクラスタを作れます(クラスター中のノードとネームシステム中のファイル数の両方において)
  • 次世代MapReduce(いわゆるYARN)は、Hadoopが単にMapReduceアプリケーションをサポートすることから一般用途の、分散型計算ファブリックに変わり、 MapReduce, Message Passing Interface (MPI), 反復プログラミングなどのような複数パラダイムが同一のHadoopクラスタ内で、同時にサポートできます。これにより、Hadoopはずっと大きなクラスタ( 6000 - 10000ノード)をサポートでき、計算ファブリックの高可用性をサポートできるようになります。

氏はまた、Apache Hadoop の次バージョンは多くの企業級フィーチャ、例えば高可用性でHadoopを著しく改善し、Hadoopが企業における、より広範囲なユースケース(すなわち次世代MR、いわゆるYARN)で使われるようになる、と思うと言った。

 

Srini Penchikala 氏は現在セキュリティアーキテクトとして働き、ソフトウェア製品マネージメントで17年の経験を持つ。

この記事に星をつける

おすすめ度
スタイル

BT