BT

InfoQ ホームページ Hadoop に関するすべてのコンテンツ

  • pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張

    ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。

  • GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開

    Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。

  • Badooのデータエンジニアリング:1日あたり200億のイベントを処理

    Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。

  • Uberのビッグデータプラットフォームが100ペタバイト超の規模に至るまで

    Uberのエンジニアリングチームは、同社のビッグデータプラットフォームが、リレーショナルデータベースを使用した旧来のETLジョブから、HadoopとSparkをベースとするものへと発展した状況に関する記事を書いた。スケーラブルな取り込みモデル、標準転送フォーマット、インクリメンタルアップデートのためのカスタムライブラリが、同社プラットフォームの主要なコンポーネントである。

  • Saumitra Buragohain氏に聞く - Horronworks Data Platform 3.0の見所

    Hortonworksでプロダクトマネジメントを担当するシニアディレクタのSaumitra Buragohain氏に、Hadoop一般とHDP 3.0で注目すべき点について聞いた。

  • Dataikuが最新リリースでディープラーニングとコンピュータビジョンを統合

    共同データサイエンスプラットフォームDatakuのData Science Studioの最新リリースには、画像処理用に事前学習されたディープラーニングモデルが含まれている。DSSプラットフォームはデータソーシングや可視化から運用展開まで、データサイエンスプロジェクトの全ステップを実行する。マシンラーニングモデルは標準的なライブラリをサポートする。Hadoopや複数のSparkエンジンとの統合も可能だ。

  • ZeroStackがDevOps Workbenchの提供開始

    プライベートクラウドプロバイダのZeroStackは、開発者が独自のワークベンチを作成できるセルフサービス機能を発表した。ZerostackのIntelligent Cloud Platformを介して、DevOps Workbenchのユーザは、オープンソースと商用のプロバイダから提供されている40の開発ツールを利用できる。

  • Apache HBase 1.3リリースで多数のパフォーマンス改善

    Apache HBase 1.3.0は、2017年1月中旬にリリースされた。今回のリリースでは、日付ベース階層圧縮がサポートされ、ログ先行書き込み(WAL)や新しいRPCスケジューラなど複数箇所で改善があった。このリリースには、合計で約1,700件の解決済みのissueが含まれている。

  • Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来

    Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が,カラム指向データ処理の今後について,Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく,氏にインタビューした。

  • PolyBaseを使用したSQL ServerとHadoopの結合

    先日リリースされたSQL Server 2016では,HadoopとAzureのBlobストレージにSQLクエリを使用することができる。マップ/レデュース操作の記述が不要になるだけでなく,リレーショナルデータベースと非リレーショナルデータベースの結合も単一のクエリで実行可能になる。

  • Google、Cloud Machine LearningとTensorFlowのα版リリース

    先月、GoogleがTensorFlowをインテグレートしたクラウド機械学習サービスのα版をリリースした。このサービスは、TensorFlowライブラリをGoogle Cloud Platform (GCP)上でスケールさせて動かしたいというニーズの高まりに応えるものだ。Googleは自らのビッグデータおよびアナリティクスプラットフォームと機械学習を密にインテグレートするという発表の中で、HadoopとSparkのマネージドサービスであるDataprocなどと統合して、TensorFlowの利用をスケールさせるための新機能について説明している。

  • Glenn Tamkin氏、NASA大規模気候データへのApache Hadoop適用を語る

    NCCS (NASA Center for Climate Simulation) はハイパフォーマンスデータ分析にApache Hadoopを使っている。NASAチームのGlenn Tamkin氏は先月のApacheCon Conferenceで講演し、Hadoopを使って構築した、気候データ分析のためのプラットフォームの詳細について説明した。

  • Hortonworks,IBM,Pivotalの3社がビッグデータソリューションでOpen Data Platformをサポート

    ビッグデータベンダのHortonworks,IBM,Pivotalの3社は先頃,Hadoopベースの各社プラットフォーム製品に対して,共通のOpen Data Platform(ODP)を採用することを発表した。発表が行われたHadoopSummit Europe Conferenceは,Apache Hadoop 2.6(HDFS, YARN, MapReduce)やApache Ambariソフトウェアといった,オープンプラットフォームのカン���ァレンスだ。

  • Apache HBaseが1.0に

    3つのDeveloper Previewと、6つのRC、1500を超えるチケットクローズを経て、Apache FoundationはApache HBaseのバージョン1.0を発表した。HBaseはHadoopエコシステムにおけるNoSQLデータベースだ。 アクティブな開発から7年以上経て、HBaseチームは1.0バージョンを名乗れるくらい成熟し、安定したと考えた。

  • Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

    GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。