Hadoop Summit 2010からYahoo! のアップデート

作者 Ron Bodkin , 翻訳者 編集部Ｎ 投稿日 2010年7月26日

セクション

運用/インフラ,

設計/アーキテクチャ

トピック

デプロイ/データセンター ,

ケーススタディ ,

Agile ,

Hadoop ,

MapReduce ,

Yahoo! ,

Architecture ,

パフォーマンス&スケーラビリティ

共有 |

原文(投稿日：2010/07/12)へのリンク

2010年の Hadoop Summit が Yahooの Chief Product Officerである Blake Irving氏によるブブゼラの鳴り響きで、始まった。 Yahooは、基調講演で、彼らのHadoop の使用規模、貢献の技術的方向、そしてこの技術の応用方法でのアーキテクチャ上のパターンについての概要を語った。

Hadoop への興味が増加しているのは、明白である：今年のカファレンスには、1000人が参加し、開始の10日前に入場券は、完売した。２年前の参加が約300人，昨年が650人であった。Javaの父であるJames Gosling 氏もカンファレンスに出席した。このカンファレンスは、Hadoopの5周年（おそらく）であった。 Irving氏は、世界中のデータのわずか5％が構造化されていて、一方構造化されていないデータは、ものすごく増えている、そしてこの新しいデータは、一時的な性格なものではない、と注意している。彼は、Yahooは、全ページのクリックを分析するのにHadoopを使い、コンテンツのランキングを最適化し、7分毎にその結果を更新している、と強調した。彼は、「我々は、今やHadoopは，メインストリームのエンタープライズに使用できる、と信じている」と語った。

Yahooの Cloud Computing 部門のSVPである Shelton Shugar氏は、Yahooは、1000億のイベントに対して、1日に120 TB のデータを入力し、現在、 170 PB(ペタバイト) の容量に対して70 PB 保存している。Yahooは、日に 3 PB処理して、38,000 のサーバー上で100万ジョブ以上走らせている。Yahooの Hadoop の使用増加に伴い、Yahooは、メインストリームのアプリケーション　プログラマー、より優れた管理ツールそしてデータ　セキュリティへのサポートを確立する必要がある、と彼は語った。彼は、Yahoo は、稼働中の様々な製品にHadoopを使っている，といった：

• データ分析論
• コンテンツの最適化
• コンテンツの改良
• Yahoo! Mail Anti-Spam （メール　アンチスパム）
• 広告製品
• 広告の最適化
• 広告の選択
• 大容量データの処理とETL

Yahooは、また応用科学の用途でもHadoopをよく使っている、例えば:

• ユーザの興味予測
• 広告目録の予測
• 検索の順位付け
• 広告対象の予測
• スパムの除去

YahooでHadoop ソフトウェア開発部門のVPであるEric Baldeschwieler氏が、昨年語ったのは:

• 各クラスタ当たりのノード数を2000から4000に増やした
• ノード当たりのジョブ数が倍になった、これは、ムーアの法則によってCPUパワーが増加したことの恩恵である。
• 今や、ディスクの使用率は、80％を超え、典型的には、CPUの使用率も50-60%で、処理よりもデータの使用の方が急激に増えている。
• Hadoopへの全パッチの70％以上を寄付した。

昨年、彼は HadoopのMapReduceの改善に注力した:

• 新しいキャパシティ　スケジューラ
• 入り交じった負荷をサポートするようにJobTrackerの安定性と堅牢性
• リソースの使用に制限を加えた：安全レール

今彼らの焦点は、 Hadoopの分散ファイルシステム、HDFSを開発することである:

• クラスタ中の各ノードは、12 TB の容量を持つ。1クラスタで48PB（ペタバイト）－NameNodeのスケーラビリティ制限により「これは、 Hadoopの精神を吹き飛ばす」
• メモリ、コネクション，バッファの使用の改善とメトリクスの提供
• ストレージを1組のボリュームに分割（複数のHDFSクラスタを使用）
• 次のメジャーな Hadoopのバージョンで 複数のHDFSインスタンスに跨いで、連合ストレージをリリースする

Baldeschwieler氏は、いかにYahooは、彼らのホームページをカスタマイズしているかを説明した:

• リアルタイムのサービス　システムは、Apache を使って、データベースから、ユーザと興味へのマップを読み込む
• 5分毎に、製品版のHadoopクラスタを使って、最近のデータを元にコンテンツの順位付けを行ない、7分毎に結果を更新している
• 毎週、科学用Hadoopクラスタで、分類のためのマシン学習モデルを再計算する

Yahoo Mailも同様な方法でHadoopを使っている:

• 製品のクラスタで頻繁にスパムモデルに対してメールをチェックする
• 毎数時間毎に科学用クラスタでアンチ－スパム　モデルを再評価する
• このシステムは、1日に50億のメールを4億5000万以上のメールボックスに配送する。

HDFSは、単一の障害箇所が（NameNode)存在しえるので、高可用性な稼動システムでは、それがリスクとなる。それを軽減するために、Yahooは、データを複数のクラスタにコピーしているので、１つの分散ファイルシステムが故障しても、バックアップ　ファイルシステムを使って、補うことができる。彼らの発表では、Yahooは、彼ら独自の Pig プロジェクトに加えて、Hadoop のHive データウェアハウス プロジェクトを使っている、とのことである。

Baldeschwieler氏は、Hadoop Securityのベータテスト版をリリースしたと発表した。これは、認証にKerberos を使い、これにより、同一クラスタ内で、ビジネス上の極秘データでもコロケーションが可能である。彼らは、また Oozieをリリースした。これは、Hadoop用のワークフロー　エンジンで、YahooにおいてデファクトのETL標準になっている。それは、 MapReduce, HDFS, Pig そしてHadoop Securityと統合されている。

全体的に、Yahooは、Hadoop技術の開発において、変わらぬリーダーシップを示した。同時に，彼らは明らかに、いくつもの主要なインターネット会社や独立の技術ベンダーが、エコシステムの一部として現れてきたのを喜んでいた。