- 単純な1つのプロンプトが、大量の下流コンピューティング処理を引き起こす可能性があると専門家は警告しています
- 攻撃者が管理の行き届いていないAIを悪用し、コストを積み上げることも可能です
- 可視性の向上とサーキットブレーカーが解決策の2つです
データセキュリティ企業のForcepointが、AIエージェントに関する重大な問題を明らかにしました。ただし、多くのAIセキュリティ上の脅威とは異なり、この問題はデータの窃取やモデルの侵害を伴うものではありません。
Forcepointによれば、十分な安全策や制限が設けられていない場合、放置されたエージェント型AIはコンピューティングリソース、トークン、API呼び出し、その他のリソースを過剰に消費してしまう可能性があり、その結果、企業のクラウド利用料金が想定を大きく上回ることになりかねません。
さらに、同社の調査では、AIが複雑化するにつれてこの問題の重要性が増していると論じられています。
企業はAIエージェントのコンピューティング利用状況を注視すべき
過度に複雑化したエージェント型AIシステムがもたらす結果として、一見単純に見えるユーザーからの1つのリクエストが、下流で数十から数百もの処理を引き起こす可能性があります。Forcepointはこれを「無制限消費(unbound consumption)」と呼んでいます。
特に重要な点として、今回の分析では、コンピューティングやトークンの消費量が高くなっても実際には検知が非常に難しく、既存のセキュリティプロトコルでは捕捉できない可能性が高いことが判明しました。なぜなら、こうした影響が生じるのに攻撃者の存在すら必要ないからです。設定に不備のある自動化処理や長時間稼働するAIセッションだけでも、意図せずコストが暴走する結果を招きかねません。
とはいえForcepointは、この脆弱性を実際に攻撃者が悪用する可能性についても懸念を示しています。悪意あるユーザーが企業の認証情報を入手した上で、自らの利益のために巨大なワークロードを生成し、大量のコンピューティングリソースを消費させ、その請求を企業側に押し付けるというシナリオです。
解決策はエージェント型AI自体と同じくらい複雑なものになり得ますが、今やその必要性はかつてないほど高まっています。まず企業は、APIキー、個々のユーザー、チームといった、より細かい複数のレベルで予算を設定すべきです。また、コストがどこに起因しているかをより細かく監視できる体制も整える必要があります。
さらにForcepointは、ワークロードとコストの複合的な増大を防ぐため、エージェント向けのサーキットブレーカーの導入も求めています。
「セキュリティチームがクラウドの請求ダッシュボードを注視することはめったにありません。財務部門がプロンプトのパターンやエージェントの設計を確認することもほとんどないのです」と、セキュリティ研究者のJyotika Singh氏は、企業に対しこのリスクをより真剣に受け止めるよう訴える中で記しています。
