InfoQ ホームページ Hadoop に関するすべてのコンテンツ
-
Apache HBase 1.3リリースで多数のパフォーマンス改善
Apache HBase 1.3.0は、2017年1月中旬にリリースされた。今回のリリースでは、日付ベース階層圧縮がサポートされ、ログ先行書き込み(WAL)や新しいRPCスケジューラなど複数箇所で改善があった。このリリースには、合計で約1,700件の解決済みのissueが含まれている。
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
PolyBaseを使用したSQL ServerとHadoopの結合
先日リリースされたSQL Server 2016では，HadoopとAzureのBlobストレージにSQLクエリを使用することができる。マップ/レデュース操作の記述が不要になるだけでなく，リレーショナルデータベースと非リレーショナルデータベースの結合も単一のクエリで実行可能になる。
-
Google、Cloud Machine LearningとTensorFlowのα版リリース
先月、GoogleがTensorFlowをインテグレートしたクラウド機械学習サービスのα版をリリースした。このサービスは、TensorFlowライブラリをGoogle Cloud Platform (GCP)上でスケールさせて動かしたいというニーズの高まりに応えるものだ。Googleは自らのビッグデータおよびアナリティクスプラットフォームと機械学習を密にインテグレートするという発表の中で、HadoopとSparkのマネージドサービスであるDataprocなどと統合して、TensorFlowの利用をスケールさせるための新機能について説明している。
-
Glenn Tamkin氏、NASA大規模気候データへのApache Hadoop適用を語る
NCCS (NASA Center for Climate Simulation) はハイパフォーマンスデータ分析にApache Hadoopを使っている。NASAチームのGlenn Tamkin氏は先月のApacheCon Conferenceで講演し、Hadoopを使って構築した、気候データ分析のためのプラットフォームの詳細について説明した。
-
Hortonworks，IBM，Pivotalの3社がビッグデータソリューションでOpen Data Platformをサポート
ビッグデータベンダのHortonworks，IBM，Pivotalの3社は先頃，Hadoopベースの各社プラットフォーム製品に対して，共通のOpen Data Platform(ODP)を採用することを発表した。発表が行われたHadoopSummit Europe Conferenceは，Apache Hadoop 2.6(HDFS, YARN, MapReduce)やApache Ambariソフトウェアといった，オープンプラットフォームのカンファレンスだ。
-
Apache HBaseが1.0に
3つのDeveloper Previewと、6つのRC、1500を超えるチケットクローズを経て、Apache FoundationはApache HBaseのバージョン1.0を発表した。HBaseはHadoopエコシステムにおけるNoSQLデータベースだ。 アクティブな開発から7年以上経て、HBaseチームは1.0バージョンを名乗れるくらい成熟し、安���したと考えた。
-
Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開
GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ
-
Pivotal が Big Data Suite をオープンソース化
Pivotal社は、自身のBig Data Suiteのコア・コンポーネントをオープンソース化することを決定するとともに、ビッグデータ用のオープンソースの普及促進および標準化のための Open Data Platform を発表した。
-
Apache Hive 1.0リリース，HiveServer2がメインエンジンに，API定義を固定化
Apache Hiveは，2015年2月６日，同プロジェクトのバージョン1.0をリリースした。当初バージョン0.14.1として予定されていたが，コミュニティの投票により，プロジェクトの到達した完成度の高さを反映すべく，バージョンナンバを1.0.0に変更したのだ。
-
Splice Machine バージョン1.0，Hadoop統合と分析ウィンドウ関数をサポート
Spline Machineバージョン1.0は，分析ウィンドウ関数とHadoopエコシステム統合をサポートする。Splice Machineチームは先頃，Hadoopでのトランザクション処理に使用可能な，HadoopベースのRDBMSデータ管理ソリューションをリリースした。
-
LinkedInのデータ取得プラットフォームGobblin
2014 QCon San FranciscoカンファレンスでLinkedInのLin Qiao氏はGobblinプロジェクトについて話をした(ブログにも説明がある)。このプロジェクトは内部と外部のデータソースから統一した方式でデータを取得するためのシステムだ。
-
Sparkがソートパフォーマンスの新記録を達成
Databricksが先日のDaytona GraySortコンテストで，Sparkプロセッシングエンジンを使って新記録を達成した。Daytona GraySortコンテストは，100テラバイトのデータをソートする速度を計測する，サードパーティによるベンチマークである。Databricksは公式記録として，206台のクラスタ上で4,27テラバイト/分というスループットを公表している。
-
HortonworksがStinger.nextのロードマップを発表，Apache HiveによるHadoopスケールのSQL提供へ
Apache Hive 0.13で提供されたStinger initiativeに続いて，Hortonworksは，完全なACIDトランザクション，サブセカンド(秒以下)で動作するクエリエンジン，充実度を高めたSQL 2011の解析サポートを提供する，Stringer.nextのロードマップを策定した。これらはすべて，Hiveによって"SQLサポートの速度，スケール，範囲を拡張"するという，同社の目標に向けてのものだ。
-
Hadoop-as-a-Service APIのCloudbreakが公開ベータへ
クラウドに依存しないオープンソース Hadoop-as-a-Service APIとして新たに登場したCloudbreakが，アプリケーション開発者と企業を対象としたベータ版の提供を開始した。Cloudbreakを開発したSequenceIQでは，無償で公開される同社のプロダクトについて，プロビジョニングを抽象化し，オンデマンドHadoopクラスタの管理と監視を容易にする，と主張している。