BT

Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート

| 作者: Srini Penchikala フォローする 36 人のフォロワー , 翻訳者 編集部N フォローする 0 人のフォロワー 投稿日 2012年1月17日. 推定読書時間: 4 分 |

原文(投稿日:2012/01/13)へのリンク

6年間の熟成の後、オープンソースの分散コンピューティングとBig Dataフレームワークである Apache Hadoop 1.0.0 が最近 リリースされた。新リリースのコアフィーチャには以下のものが含まれる。

  • セキュリティ( Kerberos認証プロトコルによる強固な認証方式)
  • Apache HBaseのサポート(トランザクションロギングへの sync と flushのサポート)。hflush/sync が進行中の時でさえ、HDFSクライアントに新しく書き込みができるようになった。
  • Webhdfs は Hadoop Distributed File System (HDFS)に対する RESTful APIを含む。このフィーチャは、 HTTPによるHDFSアクセスの完全なファイルシステムの実装として、webhdfsを提供する。
  • Hbaseのローカルファイルへのアクセスがパフォーマンス向上した

新しいリリースの他のフィーチャ には、ある程度のパフォーマンス向上、バグ修正とフィーチャがある。

InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に1.0.0リリースにおけるフィーチャと次のリリースにどのようなフィーチャが入るのかを聞いた。

InfoQ: 6年もの開発を終えて Apache Hadoop 1.0.0がリリースされました。なぜ最初のリリースにそんなに長くかかったのですか?

Arun Murthy: Apache Hadoopは、既に Yahoo, Facebookなどの幾つもの大企業で実運用環境で使われています。 1.0.0という呼称は、このリリースは実際に成熟したものであり、 Apache Hadoopコミュニティが様々な企業における広範囲なユースケースに対して、近い将来でもちゃんとサポートできる自信があるものである、というコミュニティからの声明なのです。こうすることで、エンドユーザーと企業の信頼を増し、 Apache Hadoop採用を増やす助けになります。

InfoQ: 認証、アクセスコントロール、データ暗号化の点で、 どのようなタイプのセキュリティフィーチャがこのリリースには含めれていますか?

Arun:1.0.0はHDFS(ストレージ用のファイルシステム)と MapReduce(データ処理)の両方に対して、強固な徹底したKerberosベースの認証をサポートしています。Kerberosは企業で使われているネットワーク認証プロトコルでは断トツで人気があります。

またアプリとデータのあらゆるレベルで強固なアクセスコントロールを提供します。例えば、確実にある個人(あるいはある一定のユーザー集合)だけが走っているアプリを見たり、アプリのログを見ることができるようになります。

InfoQ: 新リリースでのパフォーマンス向上について話してくれますか?

Arun:いくつかの改善点があります。一番の例は、アプリケーションに対して行ったローカル-リードの最適化で、例えば Apache HBaseでは素晴らしく速くなります(2倍になる場合があります)。

InfoQ:Hadoopの次のバージョンのリリースには、どのような新しいフィーチャを予定してますか?

Arun: Apache Hadoopの次のメジャーなリリースは現在アルファ段階で2012年の中頃にはリリースの予定です。主要なフィーチャには以下のものがあります。

  • HDFS(ファイルシステム)の高可用性-ファイルシステムのSPOF(単一障害点)問題を解決します
  • HDFS Federationにより少なくとも4,5倍、FS ネームシステムを拡大して、ずっと大きなクラスタを作れます(クラスター中のノードとネームシステム中のファイル数の両方において)
  • 次世代MapReduce(いわゆるYARN)は、Hadoopが単にMapReduceアプリケーションをサポートすることから一般用途の、分散型計算ファブリックに変わり、 MapReduce, Message Passing Interface (MPI), 反復プログラミングなどのような複数パラダイムが同一のHadoopクラスタ内で、同時にサポートできます。これにより、Hadoopはずっと大きなクラスタ( 6000 - 10000ノード)をサポートでき、計算ファブリックの高可用性をサポートできるようになります。

氏はまた、Apache Hadoop の次バージョンは多くの企業級フィーチャ、例えば高可用性でHadoopを著しく改善し、Hadoopが企業における、より広範囲なユースケース(すなわち次世代MR、いわゆるYARN)で使われるようになる、と思うと言った。

 

Srini Penchikala 氏は現在セキュリティアーキテクトとして働き、ソフトウェア製品マネージメントで17年の経験を持つ。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT