InfoQ ホームページ apache_kafka に関するすべてのコンテンツ
-
CloudflareにおけるKafkaの運用小話～QConロンドンより
CloudflareのシニアシステムエンジニアAndrea Medda氏と、同社のエンジニアリングマネージャ Matt Boyle氏は、QCon LondonでApache Kafka で1兆件のメッセージの処理を実現するためにプラットフォームサービスチームが学んだプラクティスを紹介した。
-
Amazon MSK Serverlessが一般提供に
AWSは先ごろ、Amazon MSK Serverlessが一般提供されるようになったと発表した。Apache Kafka クラスタを管理するサーバレスオプションにより、容量を監視する必要がなくなり、クラスタ内のパーティションのバランスが自動的にとられる。
-
Netflix Studio Search：ElasticsearchとApache Flinkを使ってフェデレーションGraphQLデータのインデックス付け
Netflixのエンジニアは最近、どのようにStudio Searchの構築したかを公開した。そこでは、Apache Kafkaストリーム、Apache Flinkベースのデータメッシュプロセス、Elasticsearchシンクを使ってインデックスが管理される。彼らは、NetflixのフェデレーションGraphQLグラフの要素を抽出し、それを検索可能にするプラットフォームを設計した。現在、Studio Searchでは、組織内の多くのアプリケーションのユーザエクスペリエンスに関して重要な部分が強化されている。
-
Kastra - 拡張性を備えたオープンソースのオーケストレーションおよびスケジューリングプラットフォーム
Kestraは、開発者による複雑なパイプラインの構築、実行、スケジュール、監視を支援する、新たなオープンソースのオーケストレーションおよびスケジューリング用プラットフォームである。その心臓部にあたるのが、KastraではFlowと呼ばれる、yamlで記述したタスクリストで表されるワークフローの概念だ。
-
Apache Flink、Kafka、およびPinotを使用したUberでのリアルタイムの正確に1回のイベント処理
UberEats に広告を導入した後、Uber はいくつかの困難に直面した。生成したイベントは、迅速、確実、正確に処理する必要があった。これらの要件は、広告イベントのストリームを正確に1回のセマンティクスでリアルタイムに処理する、Apache Flink、Kafka、および Pinot をベースにしたシステムによって満たされた。このアーキテクチャを説明する記事が最近 Uber Engineering ブログに公開された。
-
Uber Riderアプリでのデータ収集、標準化、大規模な利用
Uber Engineeringは最近、Uber Riderアプリからデータを収集、標準化、使用する方法を公開した。ライダーデータには、Uberアプリとのライダーのインタラクションがすべて含まれる。このデータは、Uberのオンラインシステムからの毎日の何十億ものイベントを表している。Uberはこのデータを使って、ファンネルコンバージョンの増加、ユーザエンゲージメントなどの主要な問題領域に対処する。
-
NetflixがMQTTとAlpakka-Kafkaのイベントソーシングで信頼性が高くスケーラブルなプラットフォームを構築
Netflixは先頃、MQTTベースのイベントソーシング実装を使用して信頼性の高いデバイス管理プラットフォームを構築する方法を詳しく説明したブログ投稿を公開した。Netflixは、ソリューションを拡張するために、Apache Kafka、Alpakka-Kafka、CockroachDBを利用している。
-
MicrosoftがEvent Hubs Premiumのプレビューを発表
Azure Event Hubsは、クラウドでの要求の厳しいビッグデータのストリーミングやイベント収集のニーズに対応すべく設計された、Microsoftのリアルタイムイベント収集マネージドサービスである。そのMicrosoftが毎年開催するBuildカンファレンスの期間中に、弾性と高いパフォーマンス、予測可能なレイテンシを必要とする、ハイエンドなイベントストリーミングシナリオに最適な新しいプロダクトSKUとして、Event Hubs Premiumの公開プレビューが発表された。
-
ConfluentがConfluent for Kubernetesを一般向けに提供することを発表
最近、Confluentは、Confluent for Kubernetesの一般向け提供（GA）を発表した。これは、クラウドネイティブシステムとしてConfluentプラットフォームをデプロイおよびセルフマネージするための完全な宣言型API駆動型エクスペリエンスを提供する。Confluent for Kubernetes により、同社はイベントストリーミングプラットフォームをKubernetesにパッケージ化し、クラウドネイティブサービスを提供している。
-
AirbnbがHimejiを構築 - スケーラブルな中央認証システム
Airbnbは最近、スケーラブルな集中認証システムであるHimejiをどのように構築したかについて説明した。Himejiは、信頼できる唯一の情報源として、パーミッションデータを保存し、パーミッションチェックを実行する。シャーディングおよびレプリケートされたインメモリキャッシュを使って、パフォーマンスを向上させ、レイテンシを短縮し、本番環境で約1年間チェックを行ってきた。
-
ConfluentがMicrosoftとの戦略的提携を発表
Apache Kafkaを創設した企業であるConfluentは最近、Microsoftとの間の新しい戦略的提携を発表した。Confluent CloudとAzureプラットフォーム間のより統合されたエクスペリエンスを可能にするためである。
-
UberがマルチリージョンでのKafkaの災害復旧を実装
先頃のブログ投稿で、Uberのエンジニアは、レプリケーションプラットフォームを使用して、マルチリージョンのKafka展開で大規模な災害復旧を実装する方法を強調している。UberにはApache Kafkaの大規模な展開があり、1日に数兆のメッセージと数ペタバイトのデータを処理する。Uberのエンジニアは、自然災害や人為的災害に直面した時のビジネスの回復力と継続性を提供した。
-
LinkedIn、システムの複雑性低減のためにLambdaアーキテクチャを廃止
LinkedInのソフトウェアエンジニアらは先頃、同社がLambdaアーキテクチャを廃止した経緯を公開した。Lambdaアーキテクチャの実装は、ソリューション全体の運用オーバーヘッドが高く、構造が複雑になり、結果としてプロダクトとしてのイテレーション時間が遅かった。そのためエンジニアらは、Lambdaを使用しないアーキテクチャへのマイグレーションを選択し、開発速度の大幅な改善を実現したのだ。
-
AWSがAmazon Timestreamの一般提供をリリース
AWSは先頃、SQLを通して時系列データを公開するサーバレス専用データベースであるAmazon Timestreamの一般提供を発表した。Amazon Timestreamを使用すると、顧客は、最近のデータをメモリに保持し、ユーザ定義のポリシーに基づいてコストが最適化されたストレージ階層に履歴データを移動することで、時系列データのライフサイクルを管理する時間とコストを節約できる。
-
Confluent Cloud での Apache Kafka のための Infinite Storage と Retention
Confluent, Inc. はこのほど、同社の標準および専用クラスタ向けの Infinite Storage オプションを発表した。この提供は、Kafka を最新のクラウド特性で実現することに焦点を当てた Project Metamorphosis イニシアチブの一環として行われる。組織は、すべてのイベントデータを一元化したプラットフォームで、無限のストレージと保持を備えたリアルタイムのアクションや履歴分析ができる。