InfoQ ホームページ Hadoop に関するすべてのコンテンツ
-
ツイッターStorm:オープンソースのリアルタイムHadoop
ツイッターがStormをオープンソース化した。これは分散された、フォールトトレラントなリアルタイム計算システムでGitHubに、Eclipse Public License 1.0の下でリリースされた。Stormは今ではツイッターの傘下にある BackTypeによって開発されたリアルタイム処理システムである。
-
Yahoo HadoopからスピンアウトしたHortonworksが計画を発表
Yahooは中核Hadoopチームをスピンアウトし、新しくHortonworks社を作った。CEOのEric Baldeschwieler氏はHadoopの採用を容易にし、可用性、パフォーマンス、管理に関する同社の中核技術の改善に関するビジョンを発表した。Hortonworks社は主にパートナーを通じてサポート、トレーニング、保障が販売される。
-
MapR社がHadoopをベースとした商用ディストリビューションをリリース
MapR Technologies社は、Apache HadoopをベースとしHDFSの代わりとなる独自の分散ストレージを備えたビッグデータツールキットをリリースした。このソフトウェアは商用製品であり、無償バージョンであるM3と、有償バージョンであるM5が提供されている。M5には、データのスナップショット、ミラーリングのためのJob Tracker recoveryおよび商用サポートが含まれている。MapRのM5エディションはEMC Greenplumの近々リリースされるHD Enterprise Editionの基盤をなす。
-
Structure Big DataでのHadoopの未来:DataStax Brisk, EMC, MapR
DataStaxはBriskを新しいHadoopのディストリビューションでCassandraにデータを保持すると説明する。EMCは広告を出してHadoopとGreenplumに関する大きなニュースを約束した。GigaOmはMapR TechnologiesがプロプライエタリなHadoopのバージョンを構築していると報告した。DataStaxによればCassandraの700ノードのクラスタや数百テラバイトの保存、秒間200,000回の書き込みが既に運用されているという。
-
アップグレードと異なるプログラミングパラダイムのためのHadoop再設計
YahooはHadoopのMap-Reduceのアーキテクチャの中核部分を再設計し、簡単に更新でき、より多くのクラスタで動作し、高速回復をサポートすることを発表した。また、Map-Reduce以外のプログラミングパラダイムもサポートする予定だ。再設計されることでMap-Reduceを制御するHadoopの中核部分はリソースマネージャに切り出される。このリソースマネージャがさまざまな分散処理のパラダイムをサポートする。また、Map-Reduceはユーザが利用できるライブラリになるので、同じクラスタで複数のバージョンのMap-Reduceコードを実行できるようになる。新しい設計はクラスタマネジメントプロジェクトであるオープンソースのMesosに似ている。Yahoo!とMesosは両者の違いと利用機会についてコメントした。
-
-
MembaseとClouderaがインテグレーションを発表
MembaseとClouderaは、Membase NoSQLデータベースと分散Map-ReduceおよびストレージシステムであるCloudera's Distribution for Hadoopのインテグレーションを発表した。これによりシステム間の双方向データレプリケーションが可能になる。
-
Cloudera Enterpriseがリリース：Charles Zedlewski氏とのインタビュ
Cloudera は、最近 Cloudera Enterpriseアナウンスした、これは、Hadoopといくつもの他のオープンソース製品を商用にパッケージ化したものである。InfoQは、Product ManagerのCharles Zedlewski氏にインタビュして、更に詳しく、従来型のエンタプライズとHadoopの将来の顔にとっての何を意味するのかを聞いた。
-
LinkedInのデータ基盤
LinkedInのJay Kreps氏はどのようにデータを処理しているか、最近のHadoop Summitの発表で詳しく説明した。Kreps氏は、LinkedIn が大量ユーザ/短応答時間でサイトのサービスを提供しながら、1日に1200億もの関連を高速処理し大規模データの計算結果を集計している方法について解説した。
-
FacebookによるHadoop, Hive, HBaseそして A/B Testingへの取組み
2010年のHadoop Summitでは、数多くのHadoopと関連技術の大規模ユーザから、発表があった。とりわけ、 Facebookは、分析にHiveを使っていることについて、基調講演で詳細に発表した。 FacebookでEngineering のVPである Mike Schroepfer氏がHadoopによるデータ処理の規模について基調講演を行った。
-
Hadoop Summit 2010からAmazon Elastic MapReduceをアップデート
2010年のHadoop Summitで、Amazon のElastic MapReduce (EMR)のGeneral Manager である Peter Sirota氏の基調講演があった。EMRは、Amazonによるホスト型Hadoop製品で、webベースの管理ツールを含んでいる。
-
Hadoop Summit 2010からYahoo! のアップデート
2010年の Hadoop Summitが Yahooの Chief Product Officerである Blake Irving氏によるブブゼラの鳴り響きで始まった。 Yahooは、基調講演で、彼らのHadoop の使用規模、貢献の技術的方向、そしてこの技術の応用方法でのアーキテクチャ上のパターンについて要約した。
-
Mahout 0.3: オープンソースの機械学習プロジェクト
クラスタリング、協調フィルタリング そしてカテゴリー化のような機械学習の技術の必要性が、大量の生データを関連する情報に変換するためのアルゴリズムを必要とする、いくつかのソリューションといっしょに、この１０年間に、着実に増えてきた。 Apache Mahout 0.3が３月にアナウンスされ、機能性、安定性、パフォーマンスが改善された。
-
Clojure総まとめ：Craneによる配布、Incanterによる算術計算、Leiningen 1.0によるビルド
Clojureインスタンスｗの配布と遠隔操作のためのツールであるFlightCasterのオープンソースCraneは、現在EC2に特化されている。IncanterはClojureを使って簡単にR風の統計計算ができるClojureライブラリとツールである。また、ビルドと依存関係管理ツールであるLeiningen 1.0がリリースされた。
-
Goat Rodeo: ウェブアプリケーション用統合データモデル
David Pollak氏 (ウェブフレームワークLiftのファウンダ、および「Beginning Scala」の著者) は、21世紀にデータモデリングをもたらすことを目指した新たなイニシアチブ「Goat Rodeo」を発表した。