InfoQ ホームページ Streaming に関するすべてのコンテンツ
-
Spotifyにおけるイベント配信システムのクラウド運用
イベント配信はSpotifyにおける重要なコンポーネントである。配信されるイベントには、ユーザに関する重要な情報、ユーザの行動、運用ログが含まれている。クラウドでのイベント配信システム運用が2年半を経過したことから、Bartosz Janota、Robert Stephenson両氏は、同社のこの成果と、スタックをクラウド上に移行したことによって同社が達成したシステムの革新と単純化について論じたブログ記事を公開した。
-
Delta - Netflixの開発したデータ同期および拡張のためのプラットフォーム
大規模システムでは複数のデータストアを使用することが少なくない。場合によっては、その中のいくつかのデータストアの同期を維持したり、外部サービスを呼び出してストア内のデータを拡張することも必要になる。このようなニーズに対処するためにNetflixは、結果整合性を持ち、イベント駆動によるデータ同期および拡張を行う、Deltaというプラットフォームを開発した。その開発チームが、Deltaの設計に関する概要をブログ記事で説明している。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
Celia Kung氏、LinkedInのBrooklinデータストリーミングサービスを語る
LinkedInチームのCelia Kung氏は、先週のQCon New York 2019 Conferenceで、プラグイン可能なソースとデスティネーションをサポートするデータストリーミングサービスであるBrooklinについて講演した。さまざまなデータストアとメッセージングシステムが使用可能になることで、柔軟性と拡張性を備えたソリューションが実現する。Brooklinは、LinkedInで開発されたストリームインフラストラクチャプラットフォームの一部である。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
イベント駆動からイベントソーシングへの移行 - MicroCPHのFangel, Ingerslev両氏の講演より
MicroCPH 2019で、フィンテック企業であるLunar WayのThomasBøghFangel氏とEmil Krog Ingerslev氏は、モノリシックなRailsアプリケーションの構築後に、同社がイベント駆動のへの移行を決定した経緯について解説した。移行過程において氏らはいくつかの設計上の問題を発見し、イベントソーシングの採用を決定した。プレゼンテーションではそれらの問題と、その解決法について論じられた。
-
イベントストリームKafkaとワークフローエンジンZeebe
先日アムステルダムで行われた合同ミーティングで、Kai Waehner氏は、分散ストリーミングプラットフォームのApache Kafkaについて、その特徴とイベント駆動アーキテクチャの適性を説明した。またBernd Rücker氏は、ワークフローエンジンが複雑なビジネスプロセスを処理可能であることを説明した上で、スケーラブルな新しいワークフローエンジンのZeebeがkafkaとの併用に適していると論じた。
-
AmazonのマネージドKafkaがKafka Streamingのセットアップと使用の簡素化を目指す
AWS re：invent 2018でパブリックプレビューとして導入された、Kafka用のAmazon Managed Streaming（MSK）は現在一般に利用可能である。 Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
-
サーバレスであっても"状態"は必要だ
今日のエンタープライズアーキテクチャは、サーバレスアーキテクチャへと大きく移行している。Jonas Bonér氏は、サーバレスへの動きを強く支持しながらも、プログラミングモデルではステートレス関数のみを重視すべきではない、と論じる。さらに、分散型の汎用目的アプリケーションに構築において、サーバレスのアドバンテージを活かすためには、状態にも注目する必要がある。
-
Swimが分散コンピューティングの一般概念に挑戦するプラットフォームをオープンソースとして公開
昨今のカンファレンスでの講演を改めて見直せば，今日のソフトウェア・システムの多くがステートレスな処理，分散データベース，高性能なメッセージブローカで構成されている，と考えるのは理に適ったことだ。Swimは先頃，データベース、メッセージブローカ、アプリケーションサーバ、あるいはストレージといったものに依存せず，ステートフルな"デジタルツイン(Digital Twins)"を使用してストリームデータをリアルタイムに分析する，自社製のプラットフォームをオープンソースとして公開した。
-
イベントファースト思想はなぜ重要か
グローバル企業が，その絶え間ない変化と究極的な規模において今日のアーキテクチャの課題に対処するためには，システム設計の基本原則に立ち返ることが必要である。我々の直面する問題の共通要素は，アクションとリアクションの両方におけるイベント駆動の概念である - イベントの重要性とイベントファースト・アプローチのメリットを説いた一連のブログ記事の中で，Neil Avery氏はこのように記している。
-
Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表
AmazonはAWS re:Invent 2018で、顧客がApache Kafkaを用いてストリーミングデータ処理を行うアプリケーションを簡単に構築および実行できるようにする新しいフルマネージドサービスを発表した。この新しいサービスはAmazon Managed Streaming for Kafka、略してAmazon MSKと呼ばれ、現在パブリックベータとして提供されている。
-
Keystone - Netflixのリアルタイムストリーム処理プラットフォーム
Netflixは先日、自社の技術ブログで、同社のリアルタイムストリーム処理プラットフォームであるKeystoneについて、その設計思想と洞察を論じた記事を公開した。Keystoneは2015年12月から運用されている。Netflixの加入者数が過去3年間で6,500万件から13,000万件以上へと増えたのに伴って、Keynoteも年を追って成長してきた。本記事ではKeynoteプラットフォームの最新情報を取り上げる。
-
NATSにKafka風ログAPIを加えたLiftbridge
ホットなイベント駆動テクノロジの世界に参入したLiftbridgeは、NATSメッセージングシステムを、スケーラブルなKafka風ログAPIで拡張したオープンソースプロジェクトだ。InfoQは作者のTyler Treat氏に、同プロジェクトの詳細や、データ統合の変化の動向について話を聞いた。
-
data Artisansがストリームデータ上の直列化可能なACIDトランザクション機能を発表
data ArtisansがStreaming Ledgerの一般提供を開始すると発表した。Apache Flinkを拡張して、テーブル、キー、イベントストリーム間でシリアライズ可能なACIDトランザクションの実行を可能にする。同社独自のFlinkへのアドオンは特許出願中の技術であり、一度にひとつのキーでのみ一貫性のある操作が可能だという、現在の一般的な機能制限を越えた動作を可能にする。