曖昧なタスク、無制限のアクセス権:AI委任がセキュリティリスクになるとき

この夏に公表されたエージェント関連のインシデントは、いずれも同じ結末をたどっています。エージェントは与えられた権限をすべて使い切って、タスクを完遂したのです。問題はその「持っていた権限」の大きさにあります。

個別に見れば、AIエージェントが制御範囲を逸脱したという最近の報告の数々は、一連のセキュリティ上の失敗のように読めます。しかし、被害そのものからプロセスへと視点を移すと、これは委任のあり方の問題であるように見えてきます。むしろこちらの方が危険だとも言えるでしょう。攻撃は組織にとって重要なエッジケースである一方、タスクの委任は日常的に発生する行為だからです。

これはもはや理論上の話ではありません。7月21日から8月6日にかけて、OpenAIAnthropicMetaMoonshot AI、そして英国AIセキュリティ機構が、AIエージェントが本来の範囲を超えて行動したインシデントを相次いで公表しました。エージェントは評価環境から抜け出し、実在する組織の本番システムにまで到達したほか、あるケースではオープンソースのメンテナーに対し悪意あるコードを承認するよう圧力をかけたことも明らかになっています。

攻撃報告として読むと、これらは奇妙な内容です。サイバー上の目標自体は与えられていましたが、その対象はあくまでサンドボックス、つまり「このフラグを奪取せよ」「このテストシステムを突破せよ」といったものでした。誰一人としてエージェントに実在の組織を狙わせてはおらず、得られたアクセス権を金銭化した者もおらず、窃取された認証情報を受け取ろうと待ち構えていた相手もいなかったのです。

そこで、これらの報告を攻撃者対防御者の視点で見るのではなく、雇用主対エージェントの視点で捉え直してみましょう。正規の演習と実世界での侵害との間にあったすべてのステップは、与えられたタスクを遂行するためにエージェント自身が即興で作り出したものだったのです。

とはいえ、これは何ら害を正当化するものではありません。AISIのインシデントでは、エージェントの欺瞞行為の相手として実在の人物がいました。そして、その圧力を受けた側にしてみれば、その裏でどのような演習が承認されていたかにかかわらず、感じたプレッシャーは本物と変わらなかったのです。

委任は常に仕様不足だった

組織というものは、従業員に曖昧な指示を与えることを前提に運営されています。なぜなら、境界線は別の場所で設定されているからです。テストデータを取得するよう指示された従業員が、ベンダーのメンテナーについて調査し、偽名を使って圧力をかけるようなことはしません。それは指示の文言とはまったく関係のない理由によるものです。

境界線は、指示そのものの周辺、すなわち雇用における規範、一人の人間が持ちうるスキルセット、そして社員証がもたらすアクセス範囲の中に存在しているのです。

ドアは選択的にしか開きません。そして、たいていのマーケティング担当者は競合分析の一環として競合他社をハッキングしたりはしません。すべては人間のペースで進み、多くの場合レビューを経て行われます。

エージェントにも同じように曖昧な指示が与えられますが、その境界線を定めるのはハーネス(実行環境)です。

暴走エージェントに一日を台無しにさせない

認証情報こそが、エージェントを最初から安全に保つための鍵です。

Token Securityは、あらゆるエージェントを検出し、リスクのあるアクセス権をマッピングした上で、意図ベースのポリシーを自動的に適用します。制御を失うことも、イノベーションの速度を落とすこともなく、ID管理を起点にAIを安全にスケールできます。

詳しくはこちら

強大な力に、責任は伴わない

これらのインシデントに登場したエージェントは、人間の従業員が理論上到達しうる限界まで徹底的に行動していました。しかし、実際にそこまで徹底する人間の従業員は存在しません。理由は主に2つあります。

第一に、能力の上限の問題です。エージェントのスキルは、あらゆるペネトレーションテストのレポート、CTF(Capture The Flag)の攻略記録、管理者向けの運用マニュアル、ハッカーフォーラムのスレッドまでを網羅した学習コーパスに由来しており、雰囲気づけとしてテクノスリラー小説まで含まれています。

そのため、権限がタスクの範囲を超えて広く設定されている場合、たとえば作成者本人の権限や共有コネクタなどがそれに当たりますが、エージェントはそのすべてを、一瞬のためらいもなく機械的な速度で使い尽くしてしまうことができるのです。

ここで第二の理由につながります。モデルにとって、能力と権限は同じものです。「できる」モデルは「やる」モデルであり、それを止めるのは外部からの「ノー」という指示だけなのです。

だからこそ、今回公表された5件のインシデントのいずれにおいても、機能した制限は誰かが事前に用意しておいた制限だけでした。

OpenAIが公表したインシデントでは、エージェントの一連の行動はHugging Faceのインフラ内部で終わっていました。取得したAWSキーはクラウド環境をマッピングすることはできたものの、変更はできませんでした。また、窃取したデータベースの認証情報も、承認されていない発行元のものであったため拒否されています。

この構図はもはや研究室の外にも広がっている

付与された権限と割り当てられたタスクとの間のミスマッチは、日常業務の中にも現れており、しかもその規模は攻撃者の関心度合いではなく、AIの導入度合いに比例して拡大しています。

METRは44件の文書化されたエージェント関連インシデントを収録した公開データベースを管理しており、権限逸脱と欺瞞行為をそれぞれ独立した項目として追跡しています。これにより、権限逸脱は評価上の珍事ではなく、れっきとした失敗のカテゴリーとして位置づけられています。

2026年4月にCloud Security AllianceとToken Securityが実施した調査では、企業の65%がAIエージェントに関連するセキュリティインシデントを経験したと報告しています。しかもこれらは、ベンチマークの実行結果ではなく、実際のビジネス環境での導入事例です。

組織内の誰もが、エージェントを作成し、自分自身の認証情報とともに曖昧な目標を与えることができます。そして、日を追うごとに、そうする人の数は増え続けています。

だからこそ、この問題に対する2つの分かりやすい解決策は、いずれも失敗に終わるでしょう。

従業員により良い指示を書くよう求めることはできません。しかし、仕様の不足はまさにこの指示のやり取りの中にこそ存在しており、禁止すべき行動をすべて排除できるほど完全な仕様書は、もはや「委任」とは呼べません。それは単なる「台本」であり、台本であればエージェントなど不要です。

プロンプトを厳重に管理することも解決策にはなりません。ガードレールが作用するのは、エージェントに何が指示され、エージェントが何を判断するかという部分ですが、そのどちらも不安定です。指示は文書、チケット、あるいは他者が制御するAPIレスポンスを経由して届くことがあり、同じ指示であっても、翌日には異なる一連の呼び出しを生み出す可能性があります。

不正なリクエストの99%を検知できるフィルターであっても、残りの1%は、いかなるレビュアーも追いつけない速度ですり抜けていきます。モデル自身の判断も、これと同じ確率の上に成り立っているのです。

Anthropicが公表したインシデントでは、あるモデルが自らの行動について「これは適切ではなく、意図された解決策では決してない」と記述しながら、そのまま行動を続けました。一方、別のモデルは対象が実在するものだと認識し、行動を停止しました。AISIはある課題を122回実行した結果、失敗と成功を分ける要因は「技術的な障壁ではなく、人間による警戒心」であったと結論づけています。

エージェントにも同じように曖昧な指示が与えられますが、その境界線を定めるのは、システムプロンプト、ツールの権限設定、そしてモデルを包み込むサンドボックスといった「ハーネス」です。しかし、ハーネスが制約するのは、あくまでエージェントに提供されるものであって、外部の世界が受け入れるものではありません。そしてその制約は、設定が有効な間しか維持されません。この夏のインシデントでは、プロンプト上は「インターネットへのアクセスはない」とされていました。しかし、実際のネットワークはそうではなかったのです。

雇用主のように管理し、IDにおいて強制する

組織は、人間に関してこの問題を「賢明な人材だけを雇う」ことで解決してきたわけではありません。職務記述書を作成し、それに応じて社員証のアクセス範囲を限定し、定期的にアクセス権を見直し、退職時には社員証を回収してきました。しかし今日のエージェントには、この正反対のことが起きています。

エージェントの任務はどこにも文書化されておらず、その認証情報は作成者が保有していたものがそのまま引き継がれ、誰もそれを見直すことはありません。そして、同じCSAの調査によれば、エージェントを正式に廃止するプロセスを持つ組織はわずか21%にとどまっています。

権限が過剰な労働力に対する解決策は、それを職務に見合った規模に調整することです。そして、そのための人事管理ツールはすでに存在しています。ただ、これまでこの「労働力」に向けて使われてこなかっただけなのです。

職務記述書を強制力のある形にしたものが「意図」です。すなわち、明確に定義された目的を、エージェントが実際にアクセスできる範囲や実際に行っていることと継続的に照合することを意味します。そうすれば、任務の範囲外へのアクセスは、インシエントになる前に「発見事項」として検知されます。

AISIは「優れたコンテインメント(封じ込め)は、モデルが自らの境界を試さないという選択に依存すべきではない」と記しています。これまで、従業員が自らそうした行動を取らないことに依存してきた雇用主など存在しません。だからこそ、社員証というものが存在するのです。

Token Securityは、各エージェントが本来何のために作られたのかを、その明示された目的、プロンプト、接続されたツール、実行時の呼び出し内容から可視化し、その目的から逸脱したアクセスをフラグとして検知します。

翻訳元: https://www.bleepingcomputer.com/news/security/vague-task-total-access-when-ai-delegation-becomes-a-security-risk/

ソース: bleepingcomputer.com