InfoQ ホームページ Hadoop に関するすべてのコンテンツ
-
MapReduce パターンとアルゴリズム，ユースケース
新しい記事 “MapRedice Patterns, Algorithms, and Use Cases” で，筆者の Ilya Katsov 氏は Web あるいは 科学記事に見られる様々な MapReduce パターンとアルゴリズム，テクニックの系統的概要を，実践的ユースケース数例の考察と合わせて提供している。
-
Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート
6年間の熟成の後、Big DataフレームワークであるApache Hadoop 1.0.0が最近リリースされた。新リリースのコアフィーチャにはKerberos 認証, Apache HBase、HDFSへのRESTful APIをサポートが含まれている。InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に新リリースについて聞いた。
-
技術コミュニティをもっと活発に - 2011 年末，Baidu Technical Salon レビュー
Baidu Technical Salon は定期的なオフラインコミュニケーション活動である。Baidu がホスト，InfoQ が計画・実行・実装を担当する。取り上げるトピックはクラウドコンピューティング，モバイルインターネット，ビッグデータ，ログ解析など人気のものだ。この記事では主に Technical Salon を通じた Baidu の技術企業サポート，これらアクティビティに対するコミュニティからのフィードバック，さらに 2012 年の簡単な計画について検討した。
-
HPCC Systems、EC2にBig Data Delivery Engineをローンチ
LexisNexis傘下のHPCC SystemsがAmazon EC2にThor Data Refinery Clusterをローンチした。HPCC Systemsは企業向けのオープンソース化されたビッグデータ分析技術プラットフォームであり、膨大なデータの取り込み、変換、連結、インデックス作成ができ、ノードに分散した並列処理能力を備えている。
-
eBay、HadoopとHBaseを使った次世代サーチエンジンを準備
Hadoop Worldのキーノートにおいて、eBayは完全に再構築したサーチエンジンCassiniのアーキテクチャについて説明し、2012年に稼動させる予定であることを表明した。このシステムはランキング生成を改善するためにコンテンツとユーザメタデータをすべてインデックス化しており、毎時それらインデックスを更新する。毎時のインデックス更新にはApache Hadoopを、アイテム情報へのランダムアクセスにはApache HBaseが使われている。
-
新生Hadoopの世界におけるSOAの役割
Joe McKendrick氏の新しい投稿は、共通のエンタープライズデータプラットフォーム上に作られた改善されたデータアクセスによって、エンタープライズSOAサービスを格段に単純化できるHadoopの能力について概要している。
-
Amazon、Cloudera、Microsoft、IBMのHadoop-as-a-Service
企業はますます意思決定をビックデータに頼るようになっている。Amazon、Cloudera、IBMはそれぞれHadoop-as-a-Serviceの提供を発表した。Microsoftも来年、同様のサービスを発表する。
-
もう'Denali'ではない:BIとBig DataにフォーカスされたSQL Server 2012をアナウンスした。
マイクロソフトは、コードネーム"Denali"として知られるSQL Serverの次期バージョンであるSQL Server 2012をアナウンスした。これは、Apache HadoopによるBig Dataの処理、タッチベースのビジネスインテリジェンスツールであるPower View機能が提供される。
-
ツイッターStorm:オープンソースのリアルタイムHadoop
ツイッターがStormをオープンソース化した。これは分散された、フォールトトレラントなリアルタイム計算システムでGitHubに、Eclipse Public License 1.0の下でリリースされた。Stormは今ではツイッターの傘下にある BackTypeによって開発されたリアルタイム処理システムである。
-
Yahoo HadoopからスピンアウトしたHortonworksが計画を発表
Yahooは中核Hadoopチームをスピンアウトし、新しくHortonworks社を作った。CEOのEric Baldeschwieler氏はHadoopの採用を容易にし、可用性、パフォーマンス、管理に関する同社の中核技術の改善に関するビジョンを発表した。Hortonworks社は主にパートナーを通じてサポート、トレーニング、保障が販売される。
-
MapR社がHadoopをベースとした商用ディストリビューションをリリース
MapR Technologies社は、Apache HadoopをベースとしHDFSの代わりとなる独自の分散ストレージを備えたビッグデータツールキットをリリースした。このソフトウェアは商用製品であり、無償バージョンであるM3と、有償バージョンであるM5が提供されている。M5には、データのスナップショット、ミラーリングのためのJob Tracker recoveryおよび商用サポートが含まれている。MapRのM5エディションはEMC Greenplumの近々リリースされるHD Enterprise Editionの基盤をなす。
-
Structure Big DataでのHadoopの未来:DataStax Brisk, EMC, MapR
DataStaxはBriskを新しいHadoopのディストリビューションでCassandraにデータを保持すると説明する。EMCは広告を出してHadoopとGreenplumに関する大きなニュースを約束した。GigaOmはMapR TechnologiesがプロプライエタリなHadoopのバージョンを構築していると報告した。DataStaxによればCassandraの700ノードのクラスタや数百テラバイトの保存、秒間200,000回の書き込みが既に運用されているという。
-
アップグレードと異なるプログラミングパラダイムのためのHadoop再設計
YahooはHadoopのMap-Reduceのアーキテクチャの中核部分を再設計し、簡単に更新でき、より多くのクラスタで動作し、高速回復をサポートすることを発表した。また、Map-Reduce以外のプログラミングパラダイムもサポートする予定だ。再設計されることでMap-Reduceを制御するHadoopの中核部分はリソースマネージャに切り出される。このリソースマネージャがさまざまな分散処理のパラダイムをサポートする。また、Map-Reduceはユーザが利用できるライブラリになるので、同じクラスタで複数のバージョンのMap-Reduceコードを実行できるようになる。新しい設計はクラスタマネジメントプロジェクトであるオープンソースのMesosに似ている。Yahoo!とMesosは両者の違いと利用機会についてコメントした。
-
-
MembaseとClouderaがインテグレーションを発表
MembaseとClouderaは、Membase NoSQLデータベースと分散Map-ReduceおよびストレージシステムであるCloudera's Distribution for Hadoopのインテグレーションを発表した。これによりシステム間の双方向データレプリケーションが可能になる。