InfoQ ホームページ Hadoop に関するすべてのコンテンツ
-
ClouderaがMongoDBと提携,Hadoopデータを同社のNoSQL DBに
現在の"企業データの80%が非構造であり,構造データの2倍の速度で増加している"という事実を前置きに,ClouderaとMongoDBの2社は,ApacheベースのビッグデータプラットフォームとNoSQLソリューションの組み合わせをオプションとして提供する"戦略的"パートナーシップを発表した。
-
Hadoopがセキュリティを強化,操作性を改良
Hadoop 2.4.0が先日リリースされた。HDFSとYARNを対象とする拡張の中には,アクセスコントロールリストのサポート,ローリングアップデートのネイティブサポート,HDFSでHTTPSを完全サポート,YARNの自動フェールオーバ,その他の操作面での改善が含まれている。
-
Hadoopに挑むHydra
ソーシャルネットワーク企業のAddThisは先日,HydraをApacheバージョン2.0ライセンスの下で,オープンソースとして公開すると発表した。Hydraは,半構造化ソーシャルデータをライブストリームとして処理することで,それらのデータに対する効率的なクエリ処理を実現するために開発された,同社の社内プラットフォームを発展させたものだ。
-
ThoughtWorks Technology RadarについてRebecca Parsons氏が語る
1月、ThoughtWorksは最新のTechnology Radarで、同社が追跡しているソフトウエア開発のエコシステムの動向を発表した。1)プロダクション環境での警告システムとリカバリ、2)プライバシとビッグデータの緊張関係、3)JavaScriptのエコシステム、4)物理と仮想の環境の境界の曖昧化、の4つが今年の大きなテーマだ。
-
Elasticsearch 1.0.0リリース
オープンソースアナリティクスツールであるElasticsearchのバージョン1.0.0がリリースされた。Elasticsearchはビッグデータ環境でのリアルタイム分析を実現する分散検索エンジンだ。新しいバージョンはさまざまな機能強化がされており、より直感的に使えるようになっている。
-
Googleが新開発のCloud Storage ConnectorでHadoopパフォーマンスを改善
新たに開発されたコネクタを使えば,従来の分散ファイルシステムに代えて,Google Cloud Storage上でHadoopを直接実行することが可能になる。これによってストレージコスト低減とデータプリケーション動作の削減,プロセス全体の簡略化が実現できる。
-
Hadoop-as-a-Service提供のQuboleがGoogle Compute Engine上で稼働可能に
マネージドHadoop-as-a-Serviceを提供するQuboleがGoogle Compute Engine (GCE)上で利用可能となった。QuboleはこれまでAmazon社のAWS上のみで利用可能だったが、この発表はGoogle Compute Engineの一般提供が開始されたほんの数日後に行われた。
-
-
オープンソースのSQL-in-Hadoopソリューション:我々はいまどこに?
Facebookが最近Prestoをオープンソース化してリリースしたことで、既に飽和状態だったSQL-in-Hadoopマーケットがさらに錯綜している。多数のオープンソースツールが開発者の関心を集めようとしのぎを削っているのだ。Hortonworks社によるHive関連のStinger initiative, Apache Drill, Apache Tajo, Cloudera社の Impala, Salesforce社の Phoenix (for HBase),そして今回のFacebook社のPrestoがこれに挙げられる。
-
HadoopジョブをGPU上で実行するParallelX
MapReduceパラダイムは,大規模な計算集約的アルゴリズムを扱う場合には,必ずしも理想的ではない。ある企業家の小さなチームが,これを解決するためにParallelXという製品を開発している。GPUのパワーを活用してHadoopジョブを強力に加速することで,ボトルネックを解消しようというものだ。
-
QConSF2013ハイライト - パート1
Hyattの提供する魅惑的な施設で行われた3日間のカンファレンスには,どの日も講演や展示,アクティビティなどのスケジュールがぎっしり詰まっていて,どのトラックやイベントに参加するべきかの決断に迷うほどだった。
-
Cascading 2.5がHadoop 2をサポート
今週リリースされたCascadingの新バージョンにはHadoop 2のサポートとCascading Lingualが含まれている。Cascading Lingualは,Hadoopベースのデータにアクセスする手段として包括的なANSI SQLインターフェースを提供する,オープンソースのプロジェクトだ。
-
YARNで強化されたHadoop
Hadoop 2が利用可能になった。このバージョンでYARNが導入され、Hadoop上でデータ処理アプリケーションを動かせるようになった。私たちはHortonworksのプロダクトマネージャであるRohit Bakhshi氏にYARNについて、そしてYARNがHadoopユーザにとってどのような意味を持つか、話を聞いた。
-
Amazon EMRのベストプラクティス
Best Practices for Amazon EMRというホワイトペーパーで、Parviz DeyhimはAWS EMRのベストプラクティスを説明している。データの移行やデータの収集、圧縮、集約の方法やAmazon EMRの構成の一般的なアーキテクチャパターンを説明している。
-
ConcurrentがHadoop向け機械学習DSLのPatternをリリース
企業向け大規模データアプリケーションプラットフォーム事業者であるConcurrent, Incが業界標準に準拠するPMMLを利用した機械学習DSLであるPatternを発表した。SAS, R, Microstrategy, Oracleのような分析フレームワークはPMML形式でモデルを出力し、Hadoopクラスタで実行できる。