InfoQ ホームページ Event Stream Processing に関するすべてのコンテンツ
-
Delta - Netflixの開発したデータ同期および拡張のためのプラットフォーム
大規模システムでは複数のデータストアを使用することが少なくない。場合によっては、その中のいくつかのデータストアの同期を維持したり、外部サービスを呼び出してストア内のデータを拡張することも必要になる。このようなニーズに対処するためにNetflixは、結果整合性を持ち、イベント駆動によるデータ同期および拡張を行う、Deltaというプラットフォームを開発した。その開発チームが、Deltaの設計に関する概要をブログ記事で説明している。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
イベント駆動からイベントソーシングへの移行 - MicroCPHのFangel, Ingerslev両氏の講演より
MicroCPH 2019で、フィンテック企業であるLunar WayのThomasBøghFangel氏とEmil Krog Ingerslev氏は、モノリシックなRailsアプリケーションの構築後に、同社がイベント駆動のへの移行を決定した経緯について解説した。移行過程において氏らはいくつかの設計上の問題を発見し、イベントソーシングの採用を決定した。プレゼンテーションではそれらの問題と、その解決法について論じられた。
-
イベントストリームKafkaとワークフローエンジンZeebe
先日アムステルダムで行われた合同ミーティングで、Kai Waehner氏は、分散ストリーミングプラットフォームのApache Kafkaについて、その特徴とイベント駆動アーキテクチャの適性を説明した。またBernd Rücker氏は、ワークフローエンジンが複雑なビジネスプロセスを処理可能であることを説明した上で、スケーラブルな新しいワークフローエンジンのZeebeがkafkaとの併用に適していると論じた。
-
AmazonのマネージドKafkaがKafka Streamingのセットアップと使用の簡素化を目指す
AWS re：invent 2018でパブリックプレビューとして導入された、Kafka用のAmazon Managed Streaming（MSK）は現在一般に利用可能である。 Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
-
サーバレスであっても"状態"は必要だ
今日のエンタープライズアーキテクチャは、サーバレスアーキテクチャへと大きく移行している。Jonas Bonér氏は、サーバレスへの動きを強く支持しながらも、プログラミングモデルではステートレス関数のみを重視すべきではない、と論じる。さらに、分散型の汎用目的アプリケーションに構築において、サーバレスのアドバンテージを活かすためには、状態にも注目する必要がある。
-
イベントファースト思想はなぜ重要か
グローバル企業が，その絶え間ない変化と究極的な規模において今日のアーキテクチャの課題に対処するためには，システム設計の基本原則に立ち返ることが必要である。我々の直面する問題の共通要素は，アクションとリアクションの両方におけるイベント駆動の概念である - イベントの重要性とイベントファースト・アプローチのメリットを説いた一連のブログ記事の中で，Neil Avery氏はこのように記している。
-
NATSにKafka風ログAPIを加えたLiftbridge
ホットなイベント駆動テクノロジの世界に参入したLiftbridgeは、NATSメッセージングシステムを、スケーラブルなKafka風ログAPIで拡張したオープンソースプロジェクトだ。InfoQは作者のTyler Treat氏に、同プロジェクトの詳細や、データ統合の変化の動向について話を聞いた。
-
data Artisansがストリームデータ上の直列化可能なACIDトランザクション機能を発表
data ArtisansがStreaming Ledgerの一般提供を開始すると発表した。Apache Flinkを拡張して、テーブル、キー、イベントストリーム間でシリアライズ可能なACIDトランザクションの実行を可能にする。同社独自のFlinkへのアドオンは特許出願中の技術であり、一度にひとつのキーでのみ一貫性のある操作が可能だという、現在の一般的な機能制限を越えた動作を可能にする。
-
Axon Framework 3.3、Subscription Query APIとKafkaサポートを追加
Axon Framework 3.3には、クエリモデルの更新を購読可能にするSubscription Query API、デッドラインメッセージのスケジューリングを可能にするManager、イベントの送受信にKafkaを使用可能にするAxon-Kafkaモジュールが追加されている。 また最近、バージョン3.3.2がリリースされた。バージョン3.3を使っている人は、アップグレードすることを強く推奨する。
-
分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート
オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
-
QCon NY：Jonas Bonér氏よりイベントファーストのマイクロサービスの設計について
イベントファーストのドメイン駆動型設計（DDD）とイベントストリーミングは、回復力がありスケーラブルなマイクロサービスアーキテクチャを開発する上で非常に重要である。LightBendのエンジニアリングチームのJonas Bonér氏は先週、QCon New York 2018 Conferenceでイベントファーストのデザインについて話した。
-
Microsoftが公開プレビュー版でKafka Ecosystems向けのAzure Event Hubsを発表
Build 2018開催中に、MicrosoftはAzure Event Hubsと統合できるようにKafkaクライアントをサポートすると発表した。 Azure Event Hubsを担当するMicrosoftのエンジニアチームにより、サービスユーザがイベントデータをKafkaエンドポイントにストリームとして流し込むことができるようになった。
-
Spring Cloud Stream 2.0がリリース、パフォーマンス、柔軟性、一貫性を重視
PivotalがSpring Cloud Stream 2.0フレームワークの一般向けリリースを発表した。今回のリリースには、コンテントタイプのネゴシエーション機能の改善(ユーザ定義のメッセージコンバータが利用可能になった)、ポーリングコンシューマ、Micrometerメトリックのサポート、Apache Kafka Streamsサポートの強化などが含まれる。