InfoQ ホームページ AIと機械学習、データエンジニアリング に関するすべてのコンテンツ
-
Neha Narkhede氏が語る - Apache Kafkaを使用した大規模ストリーム処理
QCon New York 2016で行われたプレゼンテーション“Large-Scale Stream Processing with Apache Kafka”の中で，Neha Narkhede氏は，ストリーミングデータを処理するKafkaの新機能であるKafka Streamを紹介した。アンバウンドなデータが多く見られるようになったことにより，ストリーミング処理は一般的なものになった，とNarkhede氏は言う。マシンラーニングの例でも見られるように，もはやニッチな問題ではないのだ。
-
DeepMindのAIプログラムがGoogleのデータセンタの冷却電力使用効率を40%まで向上させた
以前アタリ社のゲームを遊ぶ方法を学習させたDeepMindのプログラムと同様のAIプログラムを用い、Googleのデータセンタから収集されたセンサデータを学習することによりデータセンタの電力使用効率が40%まで増加し、建物全体の電力使用効率が15%向上した。
-
LinkedInがKafka運用開発を詳説 - デバッグ方法とベストプラクティス
LinkedInのJoel Koshy氏がKafkaの運用経験談として，運用時に遭遇した２つのインシデントの監視とそのデバッグについて，さらにはKafkaのインフラストラクチャの運用を計画し，今後同種の問題を見つけ出すための中心的な概念とセマンティクス，動作パターンについて解説する。
-
よくテストし、開発を成功させよう：偉大なJava単体テストフレームワークの議論
Redditの最近の投稿で伝統的なテストフレームワークであるJUnitと売り出し中のSpockについて議論が行われた。中心となるテーマは、"JUnitの何が悪いのか?"である。
-
Vert.x 3.3.0は改良されたネットワーク、マイクロサービス、テスト機能などを提供する
Vert.xのコアデベロッパであるRedhatのClement Escoffier氏が、リリースされたばかりのVert.x 3.3.0 リアクティブツールキットの鍵となる機能を紹介する。
-
Confluent Platform 3.0がKafka Streamsによるリアルタイムデータ処理をサポート
Apache Kafkaメッセージングフレームワークの支援企業であるConfluentが提供するConfluent Platform 3.0メッセージングシステムでは，リアルタイムデータ処理にKafka Streamsをサポートしている。同社は先週，同オープンソースのConfluentプラットフォームの最新版を一般提供開始すると発表した。
-
QCon San Francisco 2016、トラックホストが決まる
InfoQが主催する中で英語による最大のカンファレンス、QCon San Franciscoが11月7-9日にベイエリアに戻ってくる。QCon San Franciscoには18のトラックがあり、それぞれ、ソフトウェア開発者にとって重要なトピックに関する丸1日のカンファレンスとして企画されている。
-
LinkedInがオープンソースのKafka Monitorを詳細に解説
LinkedInは先頃，同社が実務使用するKafkaクラスタの監視や広範なテストの自動化に使用し，先日オープンソース公開したKafka Monitorサービスについての詳しい説明資料を公開した。同社の運用するKafkaクラスタは，メインのKafkaトランクのバグ検出を積極的に行なうことで，オープンソースコミュニティに対してソリューションを提供している。
-
PolyBaseを使用したSQL ServerとHadoopの結合
先日リリースされたSQL Server 2016では，HadoopとAzureのBlobストレージにSQLクエリを使用することができる。マップ/レデュース操作の記述が不要になるだけでなく，リレーショナルデータベースと非リレーショナルデータベースの結合も単一のクエリで実行可能になる。
-
ClouderaがBroad Instituteとの提携を発表
ClouderaはMITとハーバードのBroad Instituteとの提携を発表するとともに，ゲノム解析ツールキットパイプラインに関する経験を公開した。
-
Databricks による、SparkとTensorFlowを用いたディープラーニング
昨年の終わり頃にGoogleが同社の機械学習ライブラリであるTensorFlowをオープンソースするという発表を行い、InfoQが取材をして以来、データサイエンスコミュニティは各々のプロジェクトでTensorFlowを試す機会を得た。
-
Apache Spark 2.0テクニカルプレビュー
Databricksは、Apache Sparkの最初のリリースの2年後に、上流ブランチ2.0.0-previewを基にした、Apache Spark 2.0のテクニカルプレビューを発表した。このプレビューは、安定性とAPIの両方の観点で本番環境向けではなく、一般提供リリースの前にコミュニティからのフィードバックを集めることを目的にしているリリースである。
-
Netflixによる推薦のためにワークフローオーケストレーションとスケジューリングを行うMesonフレームワーク
Netflixのゴールは視聴者が視聴する前に何を見たいかを予測することである。これを達成するためにNetflixは毎日多数の機械学習ワークフローを実行している。Mesonはビデオの推薦を補助するパーソナライズアルゴリズムの構築、学習、検証するこれら全ての機械学習パイプラインのライフサイクルを管理するワークフローオーケーストレーションとスケジュールのためのフレームワークである。
-
8年間のNoSQL運用で学んだこと
大規模な組織でNoSQLデータベースを採用するには，既存のリレーショナルデータベースモデルのNoSQLデータベース移行を伴うことから，多大な労力と時間を必要とする。LDS教会でエンタープライズ・データ・アーキテクトを務めるMike Bowers氏は先日のEnterprise Data World Conferenceで，8年間のNoSQLデータベース運用経験から学んだことについて講演した。
-
QCon San Francisco 2016のトラックとワークショップ第一弾が発表される
2016年11月7-9日、QCon San Franciscoがサンフランシスコのフィッシャーマンズワーフに戻ってくる。このベイエリアのソフトウェアカンファレンスは、世界中から参加者を集めて今年で10年を迎える。