最近リリースされたAmazon CloudWatch Omniは、アプリケーションと自律型AIエージェントを統合された環境で監視、評価、トラブルシューティングするために設計された、AIファーストのオブザーバビリティプラットフォームだ。
従来のアプリケーションでは、レイテンシ、エラー率、CPU使用率、可用性といった指標だけで運用上の問題を特定できることが多いと、AWSのシニアスペシャリストソリューションアーキテクトであるDaniel Abib氏は述べている。しかし、AIエージェントでは、技術的には正常に成功していても、誤った結果を生成したり、不適切なツールを使用したり、質の低い情報を取得したり、必要以上にコストの高い処理経路を選択したりする可能性がある。
AIエージェントの挙動は非決定的である。プロンプトを変更しただけで、標準的なメトリクス上はエラーが発生していなくても応答品質が低下する場合があります。そのため、チームは複数のシステムにまたがるログを手作業で確認するのに何時間も費やしながら、何が変わり、なぜ問題が発生したのかを特定できないことがあります。
この課題に対応するため、Omniはエンドツーエンドのトレースを取得し、結果の正確性、一貫性、情報取得（retrieval）、ツール選択を評価する。また、プロンプトの比較、本番トラフィックからのテストデータセット作成、実験の実施、性能劣化や品質低下（リグレッション）の検出を行えるようにしている。
複数のエージェントフレームワークに対応しており、LangChain、LangGraph、CrewAI、OpenAI SDK、Strands、Vercel AI SDKなどをサポートしている。また、OpenInferenceや AWS Distro for OpenTelemetry（ADOT）といったオープン標準を採用しており、Amazon Bedrock AgentCoreとも統合されている。評価機能では、Braintrust、DeepEval、Ragasなどのサードパーティ製評価ツールもサポートしている。
Amazon CloudWatch Omniは、統合オブザーバビリティ（Unified Observability） を提供し、従来のマイクロサービスやクラウドインフラと、生成AIおよびエージェント型ワークロードを単一の基盤の下に集約することで、統一された可視化を実現する。また、OpenTelemetryをネイティブにサポートしているため、既存のテレメトリデータを複雑な再設定なしでOmniに取り込める。さらに、デュアルワークスペース構成を備えており、運用担当者向けにはAWS Management Consoleとは独立して利用できるSSO対応Webインターフェースを提供する一方、開発者向けにはVS CodeとKiroの両方に対応した無償のIDE拡張機能を利用できる。
CloudWatch OmniはAIを活用した調査機能もサポートしており、ユーザーは自然言語を使用してログ、メトリクス、トレースをクエリし、トポロジの問題を特定して根本原因を突き止めることができる。
AWSのバイスプレジデントであるChet Kapoor氏はLinkedInで新ツールについて説明し、「エージェント、アプリケーション、インフラ全体にわたって、問題を事前に検知し、根本原因まで追跡し、改善点を特定できるよう支援する」と述べている。また、元AWSプリンシパルセキュリティコンサルタントのJorg Huser氏も、「エージェントがなぜそのように行動したのかを説明できる統一ビューこそが、大規模運用において信頼を維持する唯一の方法だ」と指摘している。
最後に、ドイツ銀行のリードDevOpsエンジニアであるFlorin Lungu氏は、CloudWatch Omniについて「オープン標準をサポートしており、品質保証のための評価機能も組み込まれている」と強調している。
AWS上で稼働するアプリケーションにとってCloudWatch Omniは自然な選択肢となる可能性があるが、エージェント型アプリケーションを対象に、トレーシング、評価、プロンプト実験、データセット管理を組み合わせたオブザーバビリティツールやプラットフォームは他にも存在する。これらには、LangChain LangSmith、LangFuse、Arize AI Phoenixなどが含まれる。