InfoQ ホームページ apache_kafka に関するすべてのコンテンツ
-
Kevin Webber氏、エンタープライズJavaアプリのクラウド移行について語る
先月のReactive Summit 2017 Conferenceにおいて、Kevin Webber氏がイベントストーミング（Event Storming）、ドメイン駆動設計（Domain Driven Design）、Cloud Nativeなどを利用した、エンタープライズJavaアプリケーションのクラウドへの移行について語った。
-
ConfluentがApache Kafka用分散ストリーミングSQLエンジンのKSQLをリリース
ConfluentがリリースしたKSQLは、Apache Kafkaのインタラクティブな分散ストリーミングエンジンだ。Apache Kafka内のトピックに対する集約やジョイン、ウィンドウニング、セッション化といったストリーミング処理操作をサポートする。このオープンソースのストリーミングSQLエンジンは、Kafka Summitカンファレンスで発表された。
-
Apache Kafkaが1.0になる
Apache Software FoundationがApache Kafka v.1.0.0を発表した。Streams APIの改善、メトリクス強化、ディスク障害への耐性向上、一般的なバグ修正などが含まれている。
-
Confluent Cloud、Apache KafkaをSaaSとして提供
Apache Kafkaは、分散型でフォールトトレラントなパブ���ッシュ-サブスクライブ方式のメッセージングプラットフォームで、もともとLinkedInによって開発、オープンソース化されたものだ。Kafka開発グループの元LinkedInエンジニアらが設立したConfluentが、AWS上でApache Kafkaをサービスとして完全にホスト・運用するサービス、Confluent Cloudを発表した。また、Confluentの2度目の年次Streaming Dataレポート結果についても見てみよう。
-
LightbendがOpsClarity買収について語る
BoldRadiusを９ヶ月前に買収したLightbendが、リアクティブアプリケーション監視を専門とする企業であるOpsClarityの買収を発表した。InfoQはLightbendの社長兼最高経営責任者であるMark Brewer氏と、OpsClarityの共同創立者で現在はLightbendのクラウドサービス担当VPであるAlan Ngai氏に、今回の新たなパートナシップについて詳しく聞いた。
-
Apache Flink 1.2がリリース、ダイナミックリスケーリング、セキュリティ、Queryable Stateを提供
Apache Flink 1.2が発表された。ダイナミックリスケーリング，セキュリティ，Queryable Stateなどを備える。リリースでは650件の問題点が解決され，公開APIの互換性が維持されるとともに，Apache Kafka 0.10が同梱され，Apache Mesosがサポートされる。 ダイナミックリスケーリングによって，ストリーミングジョブやジョブ内のオペレータの並行度を変更することも可能だ。
-
Chaperone - Uberエンジニアリングチームの開発したKafka監査ツール
UberエンジニアリングチームがChaperoneという名のKafkaの監査ツールを，オープンソースプロジェクトとしてリリースした。ChaperoneはUberの運用するマルチデータセンタかつ大容量のKafaにおけるデータの損失，遅延，メッセージ重複の監査と検出を可能にする。
-
YelpがData Pipeline ProjectとData Pipeline Client Libraryの最新版をオープンソース化
Yelpは、データパイプラインイニシアチブで最新コンポーネントとして、Pythonベースのデータパイプラインクライアントライブラリをオープンソース化した。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
Confluentがマルチデータセンタレプリケーションを備えた企業向けKafkaを発表
Confluent Enterpriseの最新バージョンは，マルチデータセンタレプリケーション，自動データバランシング，クラウドマイグレーション機能をサポートする。Apache Kafkaベースのストリーミングプラットフォームを提供するConfluentは先週，ストリーミングデータパイプライン構築とストリーム処理アプリケーション開発を支援するConfluent Enterpriseの新機能を発表した。
-
Jey Kreps氏，Apache KafkaとKafka Streamsを利用した分散ストリーム処理を語る
Apache KafkaとKafka Streamsフレームワークは，ストリーム中心アーキテクチャと分散型ストリーム処理アプリケーションの開発を支援する。Jay Kreps氏(Confluent社のCEO)は，先週，Reactive Summit 2016 Conferenceにて，ストリーム処理とマイクロサービスに関する基調講演を行った。
-
リアクティブ サミット 2016 カンファレンス: リアクティブ マイクロサービスとステージング データパイプライン
リアクティブ マイクロサービス、データセンター スケール オペレーティング システム（DCOS）、そしてステージング リアクティブ データ パイプラインは、今週のリアクティブ サミット 2016 カンファレンスにおける目玉であった。InfoQチームはカンファレンスに参加した。この記事は、カンファレンスの初日のサマリである。
-
ストリーム処理とLamdaアーキテクチャへの挑戦
Lamdaアーキテクチャはバッチとストリーム処理を結合させる有名なソリューションである。LinkedInのKatrik Paramasivam氏はデータ処理のためにApache Samzaを用いてチームがどうストリーム処理とLambdaアーキテクチャへの挑戦を行ったかを執筆した。この挑戦はイベントの遅延到着と複製メッセージの処理について記載されている。
-
Neha Narkhede氏が語る - Apache Kafkaを使用した大規模ストリーム処理
QCon New York 2016で行われたプレゼンテーション“Large-Scale Stream Processing with Apache Kafka”の中で，Neha Narkhede氏は，ストリーミングデータを処理するKafkaの新機能であるKafka Streamを紹介した。アンバウンドなデータが多く見られるようになったことにより，ストリーミング処理は一般的なものになった，とNarkhede氏は言う。マシンラーニングの例でも見られるように，もはやニッチな問題ではないのだ。
-
LinkedInがKafka運用開発を詳説 - デバッグ方法とベストプラクティス
LinkedInのJoel Koshy氏がKafkaの運用経験談として，運用時に遭遇した２つのインシデントの監視とそのデバッグについて，さらにはKafkaのインフラストラクチャの運用を計画し，今後同種の問題を見つけ出すための中心的な概念とセマンティクス，動作パターンについて解説する。