BT

Googleスケーラビリティセッションレポート

| 作者: Stefan Tilkov フォローする 3 人のフォロワー , 翻訳者 佐野 徹郎 フォローする 0 人のフォロワー 投稿日 2007年9月7日. 推定読書時間: 2 分 |

MicrosoftのDare Obasanjo氏は、GoogleのJeff Dean氏(サイト・英語)がシアトルのスケーラビリティに関する会議で行ったセッション「MapReduce、BigTable、および大規模なデータセットを取り扱うための、その他の分散システムの概念」についての彼の覚書を、ブログの投稿で共有した。Dare氏によると、話はGoogleの大規模でスケーラブルなアーキテクチャの3つの中心的な要素 - 大規模なデータセットを並列に処理することのできる基盤であるGFS(Google File System)(GFSの説明)、MapReduce(MapReduceの説明)、および構造化されたデータのためのGoogleの分散ストアであるBigTable(BigTableの説明) - に及んだ。

レポートはGoogleの基盤に関するいくつかの興味深い詳細を含んでいる。

GFSについて:

現在Googleには200以上のGFSクラスタがあり、そのいくつかは5000以上のマシンを持っている。彼らは現在、クラスタにわたる40ギガバイト/秒以上の読み書きスループットを備えた5ペタバイト規模のストレージによって実行されるGFSクラスタからデータを検索する、何万台ものマシンのプールを持っている。

MapReduceについて:

MapReduceの基盤は、異なるマシンにわたるタスクの並列化および分散化、マシン障害およびデータのエラー状態の取り扱い、I/O帯域幅の消費を減らすために計算をデータの近くに移動するなどの最適化等となっている。システムの監視および数百~数千台のマシンにわたるサービスのスケーラブルを処理するので、開発者は、データセットのために特定のmapとreduceの操作を実行できる、25~50行程度のコードを書くだけでいい。

BigTableについて:

BigTableはリレーショナルデータベースではない。それは結合をサポートしないし、リッチなSQLのような問い合わせもサポートしない。これはむしろ階層的なマップのデータ構造に近い。それはテラバイトのメモリおよび毎秒100万回の読み書きを扱えるペタバイトのストレージ空間を備えた、大規模でフォールトトレラントな自己管理システムだ。BigTableは現在、構造化されたデータの保存と検索のためのプラットフォームとして、60以上のGoogleの製品とプロジェクトで利用されている。

これらの考えを試してみたい人は、MapReduceおよびGFSのような分散ファイルシステムであるHDFS(Hadoop Distributed Filesystem)の実装を含む、Apache Lucene Hadoopサブプロジェクト(サイト・英語)を始めるのが良いかも知れない。

原文はこちらです:http://www.infoq.com/news/2007/06/google-scalability

(原文は2007年6月25日にリリースされました)

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT