BT

InfoQ ホームページ Hadoop に関するすべてのコンテンツ

  • Uberのビッグデータプラットフォームが100ペタバイト超の規模に至るまで

    Uberのエンジニアリングチームは、同社のビッグデータプラットフォームが、リレーショナルデータベースを使用した旧来のETLジョブから、HadoopとSparkをベースとするものへと発展した状況に関する記事を書いた。スケーラブルな取り込みモデル、標準転送フォーマット、インクリメンタルアップデートのためのカスタムライブラリが、同社プラットフォームの主要なコンポーネントである。

  • Saumitra Buragohain氏に聞く - Horronworks Data Platform 3.0の見所

    Hortonworksでプロダクトマネジメントを担当するシニアディレクタのSaumitra Buragohain氏に、Hadoop一般とHDP 3.0で注目すべき点について聞いた。

  • Dataikuが最新リリースでディープラーニングとコンピュータビジョンを統合

    共同データサイエンスプラットフォームDatakuのData Science Studioの最新リリースには、画像処理用に事前学習されたディープラーニングモデルが含まれている。DSSプラットフォームはデータソーシングや可視化から運用展開まで、データサイエンスプロジェクトの全ステップを実行する。マシンラーニングモデルは標準的なライブラリをサポートする。Hadoopや複数のSparkエンジンとの統合も可能だ。

  • ZeroStackがDevOps Workbenchの提供開始

    プライベートク��ウドプロバイダのZeroStackは、開発者が独自のワークベンチを作成できるセルフサービス機能を発表した。ZerostackのIntelligent Cloud Platformを介して、DevOps Workbenchのユーザは、オープンソースと商用のプロバイダから提供されている40の開発ツールを利用できる。

  • Apache HBase 1.3リリースで多数のパフォーマンス改善

    Apache HBase 1.3.0は、2017年1月中旬にリリースされた。今回のリリースでは、日付ベース階層圧縮がサポートされ、ログ先行書き込み(WAL)や新しいRPCスケジューラなど複数箇所で改善があった。このリリースには、合計で約1,700件の解決済みのissueが含まれている。

  • Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来

    Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が,カラム指向データ処理の今後について,Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく,氏にインタビューした。

  • PolyBaseを使用したSQL ServerとHadoopの結合

    先日リリースされたSQL Server 2016では,HadoopとAzureのBlobストレージにSQLクエリを使用することができる。マップ/レデュース操作の記述が不要になるだけでなく,リレーショナルデータベースと非リレーショナルデータベースの結合も単一のクエリで実行可能になる。

  • Google、Cloud Machine LearningとTensorFlowのα版リリース

    先月、GoogleがTensorFlowをインテグレートしたクラウド機械学習サービスのα版をリリースした。このサービスは、TensorFlowライブラリをGoogle Cloud Platform (GCP)上でスケールさせて動かしたいというニーズの高まりに応えるものだ。Googleは自らのビッグデータおよびアナリティクスプラットフォームと機械学習を密にインテグレートするという発表の中で、HadoopとSparkのマネージドサービスであるDataprocなどと統合して、TensorFlowの利用をスケールさせるための新機能について説明している。

  • Glenn Tamkin氏、NASA大規模気候データへのApache Hadoop適用を語る

    NCCS (NASA Center for Climate Simulation) はハイパフォーマンスデータ分析にApache Hadoopを使っている。NASAチームのGlenn Tamkin氏は先月のApacheCon Conferenceで講演し、Hadoopを使って構築した、気候データ分析のためのプラットフォームの詳細について説明した。

  • Hortonworks,IBM,Pivotalの3社がビッグデータソリューションでOpen Data Platformをサポート

    ビッグデータベンダのHortonworks,IBM,Pivotalの3社は先頃,Hadoopベースの各社プラットフォーム製品に対して,共通のOpen Data Platform(ODP)を採用することを発表した。発表が行われたHadoopSummit Europe Conferenceは,Apache Hadoop 2.6(HDFS, YARN, MapReduce)やApache Ambariソフトウェアといった,オープンプラットフォームのカンファレンスだ。

  • Apache HBaseが1.0に

    3つのDeveloper Previewと、6つのRC、1500を超えるチケットクローズを経て、Apache FoundationはApache HBaseのバージョン1.0を発表した。HBaseはHadoopエコシステムにおけるNoSQLデータベースだ。 アクティブな開発から7年以上経て、HBaseチームは1.0バージョンを名乗れるくらい成熟し、安定したと考えた。

  • Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

    GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ

  • Pivotal が Big Data Suite をオープンソース化

    Pivotal社は、自身のBig Data Suiteのコア・コンポーネントをオープンソース化することを決定するとともに、ビッグデータ用のオープンソースの普及促進および標準化のための Open Data Platform を発表した。

  • Apache Hive 1.0リリース,HiveServer2がメインエンジンに,API定義を固定化

    Apache Hiveは,2015年2月6日,同プロジェクトのバージョン1.0をリリースした。当初バージョン0.14.1として予定されていたが,コミュニティの投票により,プロジェクトの到達した完成度の高さを反映すべく,バージョンナンバを1.0.0に変更したのだ。

  • Splice Machine バージョン1.0,Hadoop統合と分析ウィンドウ関数をサポート

    Spline Machineバージョン1.0は,分析ウィンドウ関数とHadoopエコシステム統合をサポートする。Splice Machineチームは先頃,Hadoopでのトランザクション処理に使用可能な,HadoopベースのRDBMSデータ管理ソリューションをリリースした。

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。