今年初め、OWASPはAgentic AI - Threats and Mitigationsと呼ばれるAgentic AIセキュリティに関するガイダンスをリリースした。この文書はこの新興技術を安全にデプロイする際のユニークな課題をハイライトし、防御のための緩和策やアーキテクチャパターンを提案している。
エージェントはコンピューティングツールやサービスと相互作用できる能力でシステムワークフローを革新することが期待されているが、これらの相互作用は独自の攻撃面も開くとOWASPは述べている。
この文書は4つのコンポーネント：メモリシステム、エージェントが呼び出すツール、プランニングシステム、オーケストレーションレイヤーを含む、Agentic systemのリファレンスアーキテクチャを提示している。文書内で15の脅威が特定されているが、そのほとんどはチャットボットなど他のLLMベースのシステムにも存在し、Agentic system特有のものではない。これらの脅威は他のOWASP文書にも記載されている － 例えばOWASP Top 10 for Large Language Model Applicationsを参照のこと。
ツールの誤用が新たな主要な脅威として特定されており、ツールを用いることはエージェントが任意の内容をツールに送信するよう騙されると、ツールに存在するすべての脆弱性が攻撃者によって悪用される可能性があることを意味する。OWASPは定義している：
ツールの誤用は攻撃者がAIエージェントを欺瞞的なプロンプトや操作の誤誘導によって操作し、許可された範囲内でありながらデータへの不正アクセス、システム操作またはリソース搾取を引き起こすよう、許可されたツールを悪用することで発生します。
例えばエージェントが誤ったユーザー認証情報でツールを呼び出すように騙されたり、特権を昇格させて呼び出したりすることが考えられる。プロンプトインジェクションは、スクリプトインジェクションやオブジェクトレベルの認可の欠如のような、基盤となるAPIの脆弱性を悪用するAPI呼び出し作成に使われる可能性がある。
ツール誤用に対抗するために、ガイドラインは2つの主要なアーキテクチャ防御パターンを説明している。1つ目はエージェントとツールの間にAIファイアウォールを追加することだ。これは、Agentic systemの入力と出力を検査し、危険にさらされたリクエストをブロックする専門のコンポーネントである。これらのコンポーネントはWebアプリケーションファイアウォールがWebサイトやAPIトラフィックを検査するためにデプロイされる方法に似ている。2つ目のパターンはエージェントからのテレメトリ・ストリームを監視し、異常な入力や出力を検出してリアルタイムでツールの使用をブロックすることだ。
導かれるもっとも重要な結論は、エージェントは信頼できない、エージェントからのリクエストはインターネットからのリクエストと同様に扱うべきであるということだ。
ツール誤用に対する防御に加えて、OWASP文書はすべてのエージェンティックAI脅威に対する効果的な緩和策の要件を定義している。これには厳格なアクセス検証、行動監視、明確な運用境界、および堅牢な実行ログが必要である。アクセス検証はエージェントが使用しようとするすべてのツールに対してジャストインタイム検証を強制し、行動監視はツール使用パターンを分析して異常を検出し、運用境界はエージェントが取ることを許可されているアクションに対して厳格で明確な制限を定義および強制し、実行ログはすべてのAIツール呼び出しの改ざん防止ログを維持して異常検出と事後のフォレンジックレビューをサポートする。