InfoQ ホームページ データウェアハウス に関するすべてのコンテンツ
-
Googleがプレビュー版で新しいクロスプラットフォームデータストレージエンジンのBigLakeを発表
直近のCloud Data Summitで、GoogleはBigLakeのプレビュー版を発表した。これは、新しいデータレイクストレージエンジンであり、これによって企業がデータウェアハウスとデータレイク内のデータを簡単に分析できるようになる。
-
AWSがAWS Data Exchange for Amazon Redshiftのパブリックプレビューを発表
最近、AWSはAWS Data Exchange for Amazon Redshiftのパブリックプレビューを発表した。この新機能により、顧客はAWS Data Exchangeでサードパーティデータを検索してサブスクライブし、Amazon Redshiftデータウェアハウスでクエリを実行できる。
-
Amazon Redshiftデータ共有が一般向け提供へ
Amazonは最近、Amazon Redshiftデータ共有機能の一般向け提供を発表した。これは、Amazon Redshiftクラスタ間でライブデータを共有するためのものである。これにより、単一のデータウェアハウスクラスタをマルチクラスタデプロイに使用し、データをコピーまたは移動することなく即座に共有できる。
-
データエンジニアリングの未来 - QCon San FranciscoでのChris Riccomini氏の講演より
QCon San Francisco 2919で、Chris Riccomini氏が、"The Future of Data Engineering"と題した講演を行った。おもな内容は、完全に自動化された非集中型データウェアハウスの実現という、データエンジニアリングの最終目標への到達に関するものだ。
-
Databricksがデータレイクの信頼性を高めるためにDelta Lakeをオープンソース化
Databricksは最近、ACIDトランザクションをApache Sparkおよびビッグデータワークロードにもたらすための、独自のストレージレイヤであるDelta Lakeのオープンソース化をを発表した。Delta LakeはすでにMcAffee、Upworkなどのいくつかの会社で使用されているが、DatabricksはApache Spark開発者の会社である。Delta Lakeは、データレイクがよく直面する異種データの問題に取り組んでいる。
-
ThoughtworksのTechnology Radar 2012年3月版
ThoughtWorksがTechnology Radarの最新版を公開した。このレポートはテクノロジーに関して意思決定する人が、ソフトウェア開発のテクニックやツール、言語、プラットフォームの新しいトレンドを理解するために作られている。アジャイルソフトウェア開発チームに対する関心について興味深い結果が示されている。
-
SQL Server 2012 RC0の新機能
Microsoftは、SQL Server 2012 Release Candidate 0をリリースした。これには、AlwaysOn、パフォーマンス管理の向上、レポ���トと視覚化ツールの追加、FileTablesを含む多くの新しい機能が提供されている。この製品は、3つの主なエディションで提供される：Standard、Business Intelligence、Enterprise
-
Olap4j 1.0: OLAPサーバー用Java API
ビジネス インテリジェンス(BI)ベンダーのPentahoは、olap4j1.0のリリースをアナウンスした。これは、online analytical processing (OLAP)サーバー用の新しい共通のJavaAPIである。
-
SQL Server 2011の列ベースのストレージ
14億4千万の行を保持する1TBのテーブルに対して問い合わせをしても一瞬で結果が返ってくる。これがMicrosoftが32の論理プロセッサと新しい列ベースストレージエンジンを使って実現しようとしているシナリオだ。
-
データアクセス フレームワークMetaModelのバージョン1.5で開発効率の向上
eobject.orgの オープンソース JavaフレームワークであるMetaModel は、異なったデータストアへのアクセス、探索、クエリ用の統一されたAPIを実装した。eobjects.org、webサイトとオープンソース ソフトウェア会社の両方共が「ビジネス・インテリジェンスとデータ ウェアハウスに関連したオープンソース ソフトウェアの開発」に専念しており、最近 MetaModelのバージョン1.5をリリースした。
-
Graph Database について
我々は、sones GmbHの創立者でCTOの Daniel Kirstenpfad 氏とGraph Database について話した。それがソーシャル ネットワーク アプリケーションにおける関係のような、データのある型をモデル化するのに、どうして優れているのかを聞いた。グラフ データベースは、他のデータベースに比べて、パフォーマンス上の優位性がある。それは、グラフを明示的に表現し、それらがインデクス無しの隣接性を持てるように整理されているからです。
-
LinkedInのデータ基盤
LinkedInのJay Kreps氏はどのようにデータを処理しているか、最近のHadoop Summitの発表で詳しく説明した。Kreps氏は、LinkedIn が大量ユーザ/短応答時間でサイトのサービスを提供しながら、1日に1200億もの関連を高速処理し大規模データの計算結果を集計している方法について解説した。
-
FacebookによるHadoop, Hive, HBaseそして A/B Testingへの取組み
2010年のHadoop Summitでは、数多くのHadoopと関連技術の大規模ユーザから、発表があった。とりわけ、 Facebookは、分析にHiveを使っていることについて、基調講演で詳細に発表した。 FacebookでEngineering のVPである Mike Schroepfer氏がHadoopによるデータ処理の規模について基調講演を行った。
-
データアーキテクチャの台頭 - GigaOm Structure Conferenceのハイライト
２週間前に開催されたGigaOM Stucture conferenceでは、クラウドコンピューティングにおける様々な分野に対する取り組みが行われた。このイベントの主要テーマの一つが、新しいデータアーキテクチャの台頭だった。パネル、インタビュー、プレゼンテーションを通じ、多くのスピーカが、データがどのように扱われるかという点についての来るべき重要な変化について語っていた。
-
Mahout 0.3: オープンソースの機械学習プロジェクト
クラスタリング、協調フィルタリング そしてカテゴリー化のような機械学習の技術の必要性が、大量の生データを関連する情報に変換するためのアルゴリズムを必要とする、いくつかのソリューションといっしょに、この１０年間に、着実に増えてきた。 Apache Mahout 0.3が３月にアナウンスされ、機能性、安定性、パフォーマンスが改善された。