InfoQ ホームページ Infrastructure に関するすべてのコンテンツ
-
マイクロサービスのためのオーケストレーションエンジンであるNetflix Conductor
Netflixは、昨年 “Conductor” と呼ばれるオーケストレーションエンジンを開発しプロダクションで運用してきた。この間、彼らは線形のワークフローから、複数の日にまたがって実行される動的なワークフローまで約260万のプロセスワークフローを実行した。現在 Conductor はオープンソースで公開されており、ワークフローオーケストレーションに関心のあるすべての人が利用できる。
-
GoogleのBigQueryに新たなパブリックデータセットが追加
Stack Overflowは、そのデータセットをGoogleのBigQueryを通して利用可能となることを最近発表した。開発者は、標準のSQL文を使用して、投稿、投票、タグ、バッジなどのStack Overflowデータ全体を対象にクエリできる。本投稿では、GoogleのBigQueryプラットフォームを通して利用可能なデータをセットを探っていく。
-
Julien Nioche氏が語るStorm Crawler - Apache Stormをベースとするオープンソースのクローラパイプライン
DigitalPebbleのディレクタで，Apache NutchWebクローラプロジェクトのPMCメンバ兼コミッタであるJulien Nioche氏が，StormCrawlerについての講演を行なった。StormCrawlerはストリーミングフレームワークであるApache Stormをベースとした，分散Webクローラ開発のための再利用可能なコンポーネントのコレクションだ。InfoQはプロジェクトの中心的コントリビュータであるNioche氏にインタビューして，StormCrawlerに関する詳細と，同種のテクノロジとの比較について聞くことにした。
-
Facebookによるグラフデータ処理のためのApache GiraphとSpark GraphXの比較
Facebookチームは、既存のGiraphベースのグラフ処理システムと、人気のSparkフレームワークの一部である新しいGraphXとのパフォーマンス比較を先日公開した。彼らの結論はGraphXは現在、彼らのグラフ処理ワークロードをサポートするために十分なスケーラビリティやパフォーマンスを備えていないということだ。
-
Drew Koszewnikに聞く - 散在型キャッシュ Netflix Hollow
NetflixのDrew Koszewnik氏がRags Srinivasに，Hollowという散在型(disseminated)キャッシュについて語る。
-
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
Couchbase 4.6 Developer Previewリリース，Apache Spark 2.0およびKafka用のリアルタイムコネクタを追加
Couchbase 4.6 Developer Previewリリースは改善されたフルテキスト検索，グローバルに順序付けされたコンフリクト解決を備えたデータセンタ間レプリケーション，リアルタイム解析テクノロジ – Spark 2.0およびKafka – 用のコネクタなどを備える。
-
Spark Summit EUのハイライト - TensorFlow, 構造化ストリーミング，GPUハードウェアアクセラレーション
Apache SparkとディープラーニングライブラリTensorFlowとの統合，構造化ストリーミング(Structured Streaming)とGPUハードウェアアクセラレーションを使用したオンラインラーニング – この２つが，先週ブリュッセルで開催されたSpark Summit EU 2016のハイライトだ。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
Confluentがマルチデータセンタレプリケーションを備えた企業向けKafkaを発表
Confluent Enterpriseの最新バージョンは，マルチデータセンタレプリケーション，自動データバランシング，クラウドマイグレーション機能をサポートする。Apache Kafkaベースのストリーミングプラットフォームを提供するConfluentは先週，ストリーミングデータパイプライン構築とストリーム処理アプリケーション開発を支援するConfluent Enterpriseの新機能を発表した。
-
新しいプライベートクラウドで"どこでも計算処理"を提供するWolfram
MathematicaやWolfram|Alphaなど，計算機能を中心とした製品を提供するソフトウェア企業のWolframが，計算業務の集中管理を望む企業をターゲットとした，新たなプライベートクラウドアプライアンスの提供を開始した。
-
Microsoft が Azure DNS の一般提供をアナウンス
9月26日に Microsoft は Azure DNSサービスがAzureのすべてのパブリックリージョンで一般提供（GA）になったことを発表しました。 Azure DNS は顧客が Azure 上で自分の DNS ドメインをホストできるようにするため、他のAzureサービスと同じクレデンシャル、請求およびサポート契約を使用してDNSレコードを管理することができます。
-
Microsoft、インタラクティブなデータ探索とモデリングのためのデータサイエンスツールをリリース
Microsoftが、インタラクティブなデータ探索、モデリング、レポーティングのための2つの新しいデータサイエンスツールをリリースした。これらのツールは、プロジェクトにおける特定のタスクをデータサイエンスチームが再利用できるようにする。目標は、組織のさまざまなプロジェクトを横断して、データサイエンスタスクにおける一貫性と完全性を確保することだ。
-
IBMがコグニティブ・コンピューティングのための相変化メモリによる人工ニューロンの開発に成功
チューリッヒのIBM Researchにて，科学者チームが相変化材料(phase-change materials)を使用し，データの保持と処理が可能な人工ニューロンを開発した。 これら相変化ベースの人工ニューロンは，ビッグデータ(イベントベース・データのリアルタイム・ストリーム)におけるパターン認識や相関の発見に利用できる。また，教師なし学習を高速かつ小エネルギーで実施することができる。