InfoQ ホームページ apache_kafka に関するすべてのコンテンツ
-
KubernetesでのKafkaクラスタの管理と運用
Amadeus社のプラットフォームソリューションアーキテクトであるNenad Bogojevic氏はKubeCon + CloudNativeCon North America 2017 Conferenceで、Kubernetes環境でKafkaクラスタを実行および管理する方法について講演した。彼は、Kafkaクラスタをプロビジョニングし、KubernetesカスタムリソースまたはConfigMapsを使用して設定することについて話した。
-
Kevin Webber氏、エンタープライズJavaアプリのクラウド移行について語る
先月のReactive Summit 2017 Conferenceにおいて、Kevin Webber氏がイベントストーミング（Event Storming）、ドメイン駆動設計（Domain Driven Design）、Cloud Nativeなどを利用した、エンタープライズJavaアプリケーションのクラウドへの移行について語った。
-
ConfluentがApache Kafka用分散ストリーミングSQLエンジンのKSQLをリリース
ConfluentがリリースしたKSQLは、Apache Kafkaのインタラクティブな分散ストリーミングエンジンだ。Apache Kafka内のトピックに対する集約やジョイン、ウィンドウニング、セッション化といったストリーミング処理操作をサポートする。このオープンソースのストリーミングSQLエンジンは、Kafka Summitカンファレンスで発表された。
-
Apache Kafkaが1.0になる
Apache Software FoundationがApache Kafka v.1.0.0を発表した。Streams APIの改善、メトリクス強化、ディスク障害への耐性向上、一般的なバグ修正などが含まれている。
-
Confluent Cloud、Apache KafkaをSaaSとして提供
Apache Kafkaは、分散型でフォールトトレラントなパブリッシュ-サブスクライブ方式のメッセージングプラットフォームで、もともとLinkedInによって開発、オープンソース化されたものだ。Kafka開発グループの元LinkedInエンジニアらが設立したConfluentが、AWS上でApache Kafkaをサービスとして完全にホスト・運用するサービス、Confluent Cloudを発表した。また、Confluentの2度目の年次Streaming Dataレポート結果についても見てみよう。
-
LightbendがOpsClarity買収について語る
BoldRadiusを９ヶ月前に買収したLightbendが、リアクティブアプリケーション監視を専門とする企業であるOpsClarityの買収を発表した。InfoQはLightbendの社長兼最高経営責任者であるMark Brewer氏と、OpsClarityの共同創立者で現在はLightbendのクラウドサービス担当VPであるAlan Ngai氏に、今回の新たなパートナシップについて詳しく聞いた。
-
Apache Flink 1.2がリリース、ダイナミックリスケーリング、セキュリティ、Queryable Stateを提供
Apache Flink 1.2が発表された。ダイナミックリスケーリング，セキュリティ，Queryable Stateなどを備える。リリースでは650件の問題点が解決され，公開APIの互換性が維持されるとともに，Apache Kafka 0.10が同梱され，Apache Mesosがサポートされる。 ダイナミックリスケーリングによって，ストリーミングジョブやジョブ内のオペレータの並行度を変更することも可能だ。
-
Chaperone - Uberエンジニアリングチームの開発したKafka監査ツール
UberエンジニアリングチームがChaperoneという名のKafkaの監査ツールを，オープンソースプロジェクトとしてリリースした。ChaperoneはUberの運用するマルチデータセンタかつ大容量のKafaにおけるデータの損失，遅延，メッセージ重複の監査と検出を可能にする。
-
YelpがData Pipeline ProjectとData Pipeline Client Libraryの最新版をオープンソース化
Yelpは、データパイプラインイニシアチブで最新コンポーネントとして、Pythonベースのデータパイプラインクライアントライブラリをオープンソース化した。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
Confluentがマルチデータセンタレプリケーションを備えた企業向けKafkaを発表
Confluent Enterpriseの最新バージョンは，マルチデータセンタレプリケーション，自動データバランシング，クラウドマイグレーション機能をサポートする。Apache Kafkaベースのストリーミングプラットフォームを提供するConfluentは先週，ストリーミングデータパイプライン構築とストリーム処理アプリケーション開発を支援するConfluent Enterpriseの新機能を発表した。
-
Jey Kreps氏，Apache KafkaとKafka Streamsを利用した分散ストリーム処理を語る
Apache KafkaとKafka Streamsフレームワークは，ストリーム中心アーキテクチャと分散型ストリーム処理アプリケーションの開発を支援する。Jay Kreps氏(Confluent社のCEO)は，先週，Reactive Summit 2016 Conferenceにて，ストリーム処理とマイクロサービスに関する基調講演を行った。
-
リアクティブ サミット 2016 カンファレンス: リアクティブ マイクロサービスとステージング データパイプライン
リアクティブ マイクロサービス、データセンター スケール オペレーティング システム（DCOS）、そしてステージング リアクティブ データ パイプラインは、今週のリアクティブ サミット 2016 カンファレンスにおける目玉であった。InfoQチームはカンファレンスに参加した。この記事は、カンファレンスの初日のサマリである。
-
ストリーム処理とLamdaアーキテクチャへの挑戦
Lamdaアーキテクチャはバッチとストリーム処理を結合させる有名なソリューションである。LinkedInのKatrik Paramasivam氏はデータ処理のためにApache Samzaを用いてチームがどうストリーム処理とLambdaアーキテクチャへの挑戦を行ったかを執筆した。この挑戦はイベントの遅延到着と複製メッセージの処理について記載されている。
-
Neha Narkhede氏が語る - Apache Kafkaを使用した大規模ストリーム処理
QCon New York 2016で行われたプレゼンテーション“Large-Scale Stream Processing with Apache Kafka”の中で，Neha Narkhede氏は，ストリーミングデータを処理するKafkaの新機能であるKafka Streamを紹介した。アンバウンドなデータが多く見られるようになったことにより，ストリーミング処理は一般的なものになった，とNarkhede氏は言う。マシンラーニングの例でも見られるように，もはやニッチな問題ではないのだ。