出典：United Archives GmbH（Alamy Stock Photo経由）
エージェント型AIツールは、大規模言語モデル（LLM）チャットボットと同様のリスクにさらされていますが、その自律的な能力により、データ漏洩や組織の危険性がさらに高まる可能性があります。
AIエージェントは、ここ数ヶ月で世界を席巻しており、企業は高度なLLMがほとんど人間の介入なしに自律的に推論し、プロレベルのタスクを完了できるという前提でこれらのツールを売買しています。しかし、時が経つにつれて、新しいAI時代のセキュリティ上の懸念はより複雑になっています。
例えば、適切なアクセス制御がなければ、LLMはプロンプトインジェクションや意図的でないデータ公開を通じて、簡単に機密データを漏洩させる可能性があります。また、ベンダーがLLMの可能性を過大に約束し、顧客が急いで導入する中で、責任共有モデルは少なくとも複雑化しています。
AccorianのAIエンジニア、ナガルジュン・ララパリ氏によれば、AIエージェントは従来のLLMチャットボットよりも多機能であり、計画を立てたり、通常はアクセスできないツールにアクセスしたり、タスクのための目標を作成したりできるため、リスクの可能性が高まるといいます。今後開催されるBlack Hat Middle East & Africaでは、ララパリ氏が現代のエージェント型AIがどのように多様な攻撃タイプに脆弱であるかを示します。攻撃者はプロンプトを使ってエージェントの目標を乗っ取り、本来の機能に反する行動をさせたり、時間ベースの攻撃を実行したり、エージェント同士のやりとりを変えてネットワーク全体を危険にさらしたり、システムの制限外で動作して監視を回避したり、データを漏洩させたり、権限を昇格させたりすることが可能です。
ララパリ氏のセッション「The Agent Had a Plan — So Did I: Top Attacks on OWASP Agentic AI Systems」では、さまざまな脆弱性と、それらがOWASPのエージェント型AI脅威リストに基づきどのように悪用されうるかを解説します。最も極端なケースでは、AIエージェントがコード生成ツールを悪用して新たな攻撃経路を作り、リモートコード実行の機会を生み出すことも可能です。
エージェント型AIの脅威の状況
ララパリ氏は、来月発表予定のすべての脆弱性をDark Readingに共有することはできませんでした（いくつかは現在公開準備中で、執筆時点では未公開）が、1つの例を挙げてくれました。
今夏初めて報告されたCVE-2025-53773は、VS CodeおよびGitHub Copilot Agentがユーザーの許可なくファイルを作成し、最終的に開発者のマシンを完全に危険にさらすことができる脆弱性です。研究者ヨハン・レーバーガー氏は、エージェントがすべてのツールを自動承認する単一行コマンド（レーバーガー氏はこの問題についてのブログで「YOLOモード」と呼んでいます）を発見しました。
攻撃では、攻撃者がエージェントが閲覧する可能性のある場所（WebページやGitHubのイシューなど）にプロンプトを注入します。まず悪意のあるプロンプトで自動承認の行を使い、その後、二次的なプロンプトでターミナルコマンドを実行します。ブログで紹介されたデモの一つでは、レーバーガー氏はエージェントに自身の権限を設定させ、計算機アプリのウィンドウを開かせることに成功しました。
この事例は、エージェントの目標操作の例としてDark Readingで紹介される予定だとララパリ氏は語っています。
エージェント型AIの脅威から身を守るには
LLMの場合によくあるように、AIの脅威から身を守る最良の方法の一つは、利用するモデルがその機能を果たすために必要以上のデータにアクセスできないようにアクセス制御を行い、そのデータが外部ユーザーに公開されないようにすることです。
ララパリ氏の説明によれば、ユーザーとやりとりするLLMの場合、人間のオペレーターが制限を設けるべきであり、これには入力・出力レベルでのキーワードベースのフィルタリングなどが含まれます。つまり、モデルにはガードレールを設け、ユーザーが入力した問題のある内容が出力につながらないようにすることが重要です。逆に、モデルが問題のある出力を始めた場合は、エンドユーザーに届く前にブロックされるべきです。
より具体的に言えば、エージェントの場合、発表者は組織がモデルに提供するツールについてホワイトリストやブラックリストを設けるべきだと述べています。「例えば、明確なプロセスを持つ5つのAPIセットがある場合、これら5つのAPIセットだけをホワイトリストに登録して使用を許可すべきです。そうしないと、モデルが暴走して任意のAPIを呼び出す可能性があります」と彼は言います。「ルールのホワイトリスト化は非常に重要です。」
翻訳元: https://www.darkreading.com/application-security/ai-attack-surface-agents-cyber-stakes
