Cloudflare社は、同社の開発者プラットフォーム上で分散アプリケーション向けの状態を保持する複数ステップのワークフローを統合管理するための、更新された実行モデルであるWorkflows V2を導入した。本リリースは、決定論的でリプレイ可能なワークフローアーキテクチャを導入しつつ、これらの分散実行ワークロードにおける信頼性、スケーラビリティ、可観測性の向上に重点を置くものだ。
Workflowsは、障害発生時においても実行状態と信頼性を維持し、API、キュー、ストレージシステムなどのサービス間で、長時間実行されるビジネスロジックやバックグラウンド処理を連携させる仕組みを提供する。初期バージョン(V1)は、多段階プロセスを連結するための耐障害性を備えた実行プリミティブを導入したが、特に高スループット環境において、スケーリング、可観測性、ならびに障害条件下でのリプレイ挙動に関する課題に直面していた。
Workflows V2により、Cloudflare社は、より負荷の高いアプリケーションに対応するために主要なスケーリング上限を引き上げた。同プラットフォームは現在、従来の4,500件に対して最大50,000件のワークフローインスタンスの同時実行を可能にし、アカウントあたりの新規ワークフロー実行も毎秒100件から毎秒300件に増加した。キューイング容量もワークフローあたり200万インスタンス拡張され、従来の上限の2倍となっている。これらの更新は、AIエージェント、データパイプライン、グローバル規模で稼働する大規模バックグラウンド処理ワークロードを含む、イベント駆動型システムを支援することを目的としている。
Cloudflare社のエンジニアは、新しいモデルについて強調した。
V2は、作業を重複させることなく実行を把握しやすくし、障害からの復旧を容易にします。
Workflows V2は、開発者が実行状態を維持しながら、API、キュー、ストレージシステム間でタスクを連携させる耐久性のあるイベント駆動型ワークフローを定義できるようにする。ステップ間で状態を永続化し、再試行、タイムアウト、障害を自動的に処理することで、同プラットフォームはカスタムのオーケストレーションロジックの必要性を低減させる。同システムはまた、より明確なステップ定義やアプリケーションロジックとの整合性向上など、開発者の使いやすさの向上の改善も導入する。一般的なユースケースとしては、多段階のビジネスプロセス、データ同期パイプライン、長時間にわたって信頼性の高い実行を要するAI推論ワークフローが含まれている。
V2における主要なアーキテクチャ上の変更点は、ステップベースの決定論的実行モデルの導入である。各ワークフローのステップは独立しており、リプレイ可能かつ冪等性を持つため、完了済みのステップを再実行することなく障害から復旧できるようになっている。これは耐久性のある状態管理と実行追跡機能によって支えられており、ワークフローが最後に成功したステップから再開できるようにする。このアーキテクチャはCloudflare社の分散型ランタイムを基盤としており、計算のためのWorkers、イベント取り込みのためのQueues、そしてリージョン間での連携と状態整合性のためのDurable Objectsを統合している。
Workflows V2のアーキテクチャ概要(出典:Cloudflare社ブログ記事)
更新されたモデルでは、並列実行と分岐に対するサポートも改善する。独立したステップを同時に実行できるため、データ処理やAIパイプラインで一般的に用いられるファンアウトおよびファンインのパターンを可能にしている。ステップ単位のトレース、実行履歴、デバッグツールにより可観測性が強化され、開発者がワークフローの進捗を確認し、本番環境での障害を診断できるようになった。
Cloudflare社は、決定性を中核となる設計原則として強化すると述べた。
各ステップはリプレイに耐えうるよう設計されており、リトライが発生してもワークフローが予測可能な動作を保証します。
Workflows V1からV2への移行には、明示的なステップベースモデルと更新されたAPIを採用する必要がある。中核となる概念は一貫しているものの、ワークフローは新しい実行セマンティクスに合わせて、独立したリプレイ可能なステップへと再構成しなければならない。Cloudflare社は、ワークフロー実行を管理するための強化されたツール群に支えられた更新モデルが、デバッグ容易性、運用上の明確性、そして長期的な保守性を向上させるとしている。