InfoQ ホームページ apache_kafka に関するすべてのコンテンツ
-
AWS Lambda、スキーマレジストリ統合によりKafkaイベントに対するネイティブAvroおよびProtobufサポートを獲得
AWSは、Provisioned ModeでApache Kafkaイベントソースマッピング（ESM）を利用する際に、AWS LambdaでApache AvroおよびProtocol Buffers（Protobuf）形式のイベントに対するネイティブサポートを発表した。同社によると、この機能強化により、AWS Glue Schema Registry（GSR）、Confluent Cloud Schema Registry（CCSR）、および自己管理型Confluent Schema Registry（SCSR）などの人気のあるスキーマレジストリと直接統合することで、効率的なバイナリKafkaイベントの処理が大幅に簡素化される。
-
Kafka 4.0: KRaftがアーキテクチャを簡素化
10年以上にわたり、ZooKeeperはKafkaの基盤として機能し、コミュニティはその貢献に感謝を表明してきた。しかし、Kafka 4.0のデフォルトでのKRaftへの移行は、個別のZooKeeperアンサンブルを維持する必要性を排除することで、デプロイと管理を合理化する。
-
全てのものをストリーミング：効果的なデータストリーム処理のパターンを探る、QCON SFでのAdi Polak氏講演
Confluent社のDirector of Advocacy and Developer Experience Engineering Adi Polak氏が直近のQCon San Franciscoで「全てのものをストリーミング—効果的なデータストリーム処理のパターン」を講演した。Polak氏の講演はデータストリーミングの持続的な課題をハイライトし、組織がスケーラブルで効率的なデータストリーミングパイプラインを管理するのに役立つ実用的なソリューションを明らかにした。
-
Uber社、Apache Kafkaの階層型ストレージ機能を推進、効率性をめぐる議論に拍車
運送会社のUber社が、人気の分散イベントストリーミングプラットフォームApache Kafkaの新たな階層型ストレージ機能追加について、詳細を発表した。本機能は、大規模なKafkaクラスタを運営する組織の直面するスケーラビリティや効率性の課題への対応として3.6.0で追加され、現在、早期アクセスの段階である。
-
Canva、SNS+SQSよりAmazon KDSを選択し、1日250億件のイベントで85%の節約を実現
Canvaは、同社のProduct Analytics Platformのために、AWS SNSとSQSの組み合わせ、MKS、Amazon KDSなど、さまざまなデータメッセージングソリューション群を評価し、主に費用面での大きな優位性から最終的にAmazon KDSを選択した。同社は、パフォーマンス、メンテナンスの労力、コストなど、これらのソリューションに対して多くの側面から比較を行った。
-
CNCF、Kubernetes上のKafkaを簡素化するStrimziをインキュベートする
Cloud-Native Computing Foundation（CNCF）は、Kubernetes上でのApache Kafkaのデプロイを効率化するインキュベート・プロジェクトとしてStrimziを承認した。Strimziは、Kubernetes上でのKafkaの設定、デプロイ、運用を容易にするKubernetes APIを拡張する一連のオペレータを通じて、Kafkaと対話するKubernetesネイティブな方法を提供する。
-
Uber、GraphQLサブスクリプションとKafkaでマイクロサービスを使用したスケーラブルなチャットを構築
Uberは、WAMPプロトコルを使用して構築されたレガシー・アーキテクチャを、GraphQLサブスクリプションを活用した新しいソリューションに置き換えた。新しいアーキテクチャを構築した主な要因は、信頼性、スケーラビリティ、オブザーバビリティ/デバッグ可能性、そして既存のソリューションを維持するチームの能力を妨げている技術的負債にまつわる課題であった。
-
Grab、Strimzi、AWS AddOns、EBSにてKubernetes環境のKafkaが持つ耐障害性を改善
GrabはKubernetes環境にあるKafkaのセットアップをアップデートし、耐障害性を向上させ、予期せぬKafkaブローカーの終了に備えて人による介入を完全に排除した。初期設計の欠点に対処するため、チームはAWS Node Termination Handler (NTH)と統合し、ターゲットグループのマッピングにLoad Balancer Controllerを使用し、ストレージをELBボリュームに切り替えた。
-
PinterestがKafka、Flink、MemQ用の本番環境に対応したPubSub Javaクライアントをオープンソース化
Pinterestは、汎用PubSubクライアントライブラリであるPSCをオープンソース化した。PSCは1年半前から実際に幅広く利用されている。このライブラリは、開発者の速度を向上させ、それを使用するサービスのスケーラビリティと安定性を高めることで、エンジニアリングチームを支援している。Javaアプリケーションの90％以上が、最小限の変更でPSCに移行している。
-
Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減
Zendeskは、DynamoDBからMySQLとS3を使用した階層型ストレージソリューションに移行することで、データストレージのコストを80%以上削減した。同社は様々なストレージ技術を検討したが、コストを抑えつつ、クエリ性とスケーラビリティのバランスを取るために、リレーショナルデータベースとオブジェクトストアを組み合わせることにした。
-
Expedia、WebSocketとKafkaを使用してほぼリアルタイムのストリーミングデータをクエリする
Expediaは、同社のプラットフォームからのクリックストリームデータをほぼリアルタイムでクエリするソリューションを開発し、同社のプロダクトチームとエンジニアリングチームが、新しいデータ駆動型の機能使用事例に取り組んだり、既存のデータ駆動型の機能使用事例を強化したりしながら、ライブデータを探索できるようにした。チームは、WebSocket、Apache Kafka、PostgreSQLを組み合わせて使用し、クエリ結果をユーザーのブラウザに継続的にストリーミングできるようにした。
-
HubSpotがワークフロー・アクションをタイムリーに処理するためにApache Kafkaスイムレーンを使用する方法
HubSpotは、コンシューマーグループの遅延の蓄積を回避し、リアルタイムのトラフィックの処理を優先するために、同じプロデューサーの複数のKafkaトピック（スイムレーンと呼ばれる）上でメッセージをルーティングすることを採用した。トラフィック急増の自動検知と手動検知を組み合わせて使用することで、同社は顧客の大半のワークフローが遅延なく実行されるようにしている。
-
Contentsquare、通知配信にマイクロサービスとApache Kafkaを起用
Contentsquareは、プラットフォーム内の多くのユースケースで通知機能を必要としていた。そこで同社は、マイクロサービス・アーキテクチャの一部として、複数のサービスにまたがる汎用的なソリューションを作成。この実装で、開発者はオブザーバビリティを改善し、スケーラビリティの課題を克服する必要があった。
-
Grab、AWS上のKafkaコンシューマーのトラフィックコストをゼロに削減
Grabは、Kafka 2.3で導入された、Apache Kafkaコンシューマーが同じアベイラビリティゾーン（AZ）内のブローカーノードに接続する機能を利用し、再構成されたコンシューマーのAWS上のトラフィックコストをゼロに削減した。この変更により、AWS上でApache Kafkaを実行するための全体的なインフラコストが大幅に削減された。
-
Datadog、スケーラブルなデータインジェストアーキテクチャを構築する
原文リンク(2023-06-16)Datadogは、第3世代のログストレージシステムHusky専用のデータインジェストアーキテクチャを開発した。このイベント駆動型アーキテクチャ(EDA) により正確なセマンティクスを実現、マルチテナントプラットフォームのトラフィックのバーストに対応し、妥当なインジェストレイテンシーと許容できる運用コストで対応できる。