出典：Alamy Stock PhotoのRawf8
エージェント型人工知能（AI）技術の導入競争が過熱する中、開発者たちは自分たちのプログラムがどのように動作するかを十分に理解する時間を取れておらず、結果として非常に古典的な脆弱性を大量に生み出している。
現代の先進経済圏におけるAIエージェントの世界は計り知れないほど広大であり、実際にどれほどの数が存在するか、誰も把握できていない。最近のデータによれば、組織の約3分の1がすでにエージェント型AIを導入済みか、あるいは近い将来に導入予定とされているが、これらの数値も自己申告や一般的なデータ、あるいは曖昧な予測に基づくものにすぎない。
しかし、一般的な認識に反して、エージェント自体はブラックボックスではない。来月開催されるInfosecurity Europeでの異例の長時間プレゼンテーションにおいて、Acronisの研究者たちはボットが根本的なレベルでどのように機能するかを実演することで、こうした誤った通説を正そうとしている。そしてAIエージェントの仕組みを解剖することで、さらに興味深い事実が浮かび上がると彼らは主張する。この技術におけるサイバーセキュリティの脆弱性はAIの責任ではなく、従来からの杜撰なコーディングの副産物であるというのだ。
「人々が理解していないのは、エージェント型システムが依然として多くの旧来技術と旧来の脆弱性に依存しているということです」とAcronisのシニアセキュリティ研究者であるEliad Kimhy氏は言う。エージェント型AI技術がますます普及するにつれて、「悪用されるのは、ソフトウェアにおけるごく普通の古い脆弱性です。それを理解しなければ、粗悪なソフトウェアを書いてしまい、残りの処理を大規模言語モデル（LLM）に任せることになる。それは悪いアプローチです」と述べている。
エージェント型AIにおける脆弱性
昨年秋、研究者たちはSalesforceに重大な脆弱性を発見した。攻撃者が特定のSalesforceフォームに悪意のあるプロンプトを埋め込むと、バックエンドでそれを解釈するAIエージェントがその指示を実行してしまう可能性があった。さらに悪いことに、Salesforceが有効期限切れの容易に購入可能なドメインをホワイトリストに登録し続けていたことで、問題はより深刻になっていた。
今年初め、ある研究者がServiceNowで危険なエクスプロイトチェーンを発見した。過度に許可設定が緩いチャットボット——工場出荷時のデフォルト認証情報のみで保護され、メールアドレスを提示するだけで任意のユーザーとして認証できる——を利用することで、研究者はいかなる企業のServiceNowインスタンスにおいても、強力なAIエージェントにアクセスしたり新規作成したりできることを発見した。
これらの事例、そして類似する多くの事例に共通することは何だろうか？
エージェント型AIが組織に多くの新たなリスクをもたらしているため、エージェント型AI技術そのものがリスクであると考えるのは理解できる。しかし、入力値のサニタイズ不足、ハードコードされた認証情報、不十分なアクセス制御といった脆弱性の種類を考えると、一体どこが「新しく」て「インテリジェント」なのだろうか？
「派手なもの——誰もが話題にしたい面白いハック——はジェイルブレイクだと思います。しかし、それは本当に考えるべき障害点ではありません」とKimhy氏は主張する。
より重大な障害点は、エージェント自体により固有のものだとAcronisは述べている。それはAIと、AIが相互作用する従来のソフトウェアとの接点に存在する。なぜその接点が非常に危険なのかを理解するには、まずAIエージェントがどのように機能するかを根本的に理解する必要がある。
AIエージェントの仕組み
「問題は、多くの場合、人々がこれらのエージェント型システムをブラックボックスとして見ていることです。入力があって、中間で何か魔法のようなことが起きて、出力がある——中間で何が起きているかはわからない、と考えています。私たちが人々に理解してもらいたいメッセージは、それはブラックボックスではないということです」とKimhy氏は言う。
大局的な視点から見ると、AIエージェントは2つの半分から成るシステムと考えることができる。「それは、一方に決定論的なシステム——つまりツール、基本的には旧来のソフトウェア——を含むエコシステムです。引数を取る関数は他の関数と同様に決定論的な結果を生成します。そのツールは非決定論的なシステム、すなわちLLMに接続されています。そのLLMは確率を理解することで機能します。これら2つが合わさってシステムを形成しています」とKimhy氏は説明する。
重要なのは、エージェント型の脆弱性のほとんどが、決定論的な半分と非決定論的な半分の並置に生じるという点だ。
プレゼンテーションでは、Kimhy氏と同僚でAcronisの主任セキュリティ研究者であるSyed Aizad氏が、旅行予約プラットフォームを支えるサンプルAIエージェントを使ってこの仕組みを実演する。最先端の推論エージェントを使い、完全に無害なツールに接続しても、依然として多くの脆弱性が生じる。たとえば、ユーザーが予約情報を尋ねた場合、エージェントはユーザーが自分の身元について嘘をついている可能性に気づかずに情報を提供してしまうかもしれない。
これはエージェントの責任ではなく、単純に認証の問題だ。研究者たちは昨年12月、Microsoft Copilot Studioエージェントを搭載したプログラムを使って個人識別情報（PII）が漏洩するこの全く同じシナリオを実演した。
エージェント型技術を安全にする方法
もちろん、AIエージェントに認証チェックを設計することは至極簡単だ。しかし、場当たり的な「Agentforce」や「Now Assist」のエージェント、あるいは急増するバイブコーディングで作られたプログラムが、決定論的な半分と非決定論的な半分の間で生じる無数の脆弱な相互作用を考慮しているだろうか？
「人々はこれらのシステムがどのように機能し、互いにどのように接続されているかを深く理解することなく、エージェント型AIを導入してしまうでしょう。そして、それを理解することは非常に重要です。LLM自体の修正方法は、ソフトウェアの修正方法とは異なります」と述べ、さらに「より具体的に言えば、現在多くの注目が非決定論的な側面に向いています。それが華やかな部分です。しかし、それは本当に絵の半分にすぎず、おそらく半分にも満たないでしょう」と付け加えた。
Kimhy氏がカンファレンスで掲げるキャッチフレーズは「旧世界の原則に新世界のひねりを」というもので、実績のあるサイバーセキュリティの原則をこの新技術に適用することを意味する。具体的には、標準的なトークンベース認証でエージェントからのデータ漏洩を防いだり、人間の従業員と同様にAIにアクセス制御を適用したりすることが含まれる。
「まず旧世界の考え方を取り入れ、従来のソフトウェアの原則が常にこのシステムの一部であり、これらのツールを考慮に入れる必要があることを理解しなければなりません」と彼は説明する。「しかし同時に、新世界のひねりを加える必要があります。なぜなら今や、そのソフトウェアを多くの点で予測不可能なものに接続しているからです。そして、そのことへの認識がまだまだ不十分だと思います。」
翻訳元: https://www.darkreading.com/application-security/agentic-ai-risky
