AIエージェントが脆弱性を発見し、サンドボックスを脱出して、ネットワーク全体で自律的に行動できる時代にあって、組織はサイバーセキュリティの最も古典的な原則をこれまで以上に徹底すべきです。
7月21日、OpenAIはあるセキュリティインシデントについて詳細を明らかにしました。同社はHugging Faceの本番インフラの一部に対する侵害について責任を認めました。このAI大手のブログ投稿によると、GPT‑5.6 Solを含むモデルをベースにしたOpenAIのエージェント群と、「さらに高性能な未公開のプレリリースモデル」が、各モデルのサイバー能力を定量化することを目的としたサンドボックス評価の最中に、封じ込めを突破したとのことです。
ExploitGymという限定的なテスト目標を達成しようとする過程で、OpenAIによれば、各モデルはオープンなインターネットアクセスを得る方法を見つけ出すために膨大な労力と計算資源を費やしたといいます。そして、パッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を発見することで、これを実現しました。その後モデルは評価を不正に突破する方法を探し、Hugging FaceがOpenAIのテスト対象であった人気のAIエージェントセキュリティベンチマーク「ExploitGym」の解答を保有している可能性を突き止めました。
これらのモデルは、盗み出した認証情報とゼロデイ脆弱性を用いてHugging Faceのサーバー上でリモートコード実行に至る経路を見つけ出すなど、複数の手法でこれを達成しました。Hugging Faceは、OpenAIが正式に責任を認める前の7月16日の時点で、この攻撃の初期段階の要素について詳細を公表していました。
OpenAIはブログ投稿の中で、Hugging Faceと協力してこの事象を調査しており、今後同様のインシデントの再発を防ぐために追加のセキュリティ対策を講じる方針だと述べています。
AIは「ツール」から「行為主体」へ
強力な大規模言語モデル(LLM)がサードパーティのネットワークを自律的に侵害し、封じ込めを脱出することには、広範囲に及ぶセキュリティ上の影響があります。Anthropic Claude Mythosの場合は、この技術を攻撃者の手に渡らせないことと、今後押し寄せるであろう脆弱性報告への対応準備が主な脅威でした。しかし、たとえ善意の当事者であっても、間接的に他のネットワークを侵害しうるとなれば、それは防御側の計算を根本から変えかねません。
ある程度まで、これは特殊な状況だと言えます。OpenAIは(まだ一般公開されていないモデルも含む)最先端のモデルに、限定的な目標と、その目標を達成するための広範な裁量を与えました。すべての組織がこうした状況を懸念する必要があるわけではない、と言ってよいでしょう。
とはいえ、これが例外的な出来事だというわけでもありません。Adaptive Securityの最高製品責任者(CPO)兼共同創業者であるAndew Jones氏は、Dark Reading の取材に対し、こうした事態は今後も再び起こり得ると述べています。
Sophosの脅威リサーチ担当ディレクター、Rafe Pilling氏は、今回のインシデントには異例な要素がある一方で、これは警鐘として受け止めるべきだと語ります。
「今回の具体的な状況は異例なものでしたが、その根底にある教訓はより普遍的なものです。私たちは今、AIが『ツール』であった時代から『行為主体』である時代へと移行しつつあります」と同氏は述べています。「エージェントがシステムにアクセスし、判断を下し、複数のアクションを連鎖させ、限られた人間の監視のもとで目標を追求できるようになると、従来の多くのセキュリティ上の前提は通用しなくなります」
同氏によれば、問われるべきは「AIエージェントが信頼できるかどうか」ではなく――そもそも本質的に信頼できるものではない――エージェントが予期せぬ挙動を示した場合にどれほどの被害をもたらし得るか、という点だといいます。
防御側は何をすべきか
今回のインシデントは、従来型のプロンプトベースのAIガードレールだけではまったく不十分な状況があることを示しています。仮に現時点で一部の組織や状況にとってそれで十分だとしても、将来的には確実に不十分となるでしょう。
SentinelOneのディスティングイッシュトAIリサーチサイエンティストであるGabriel Bernadett-Shapiro氏の言葉を借りれば、プロンプトやAIモデルレベルのガードレールは依然として有用ではあるものの、それ自体がセキュリティの境界線として機能するわけではないといいます。「次なる防御層はモデルの外側に存在しなければなりません。それには、ID、ネットワークアクセス、ツール、実行時の挙動に対するインフラレベルでの制限が含まれるべきです」と同氏は述べています。
より大局的な視点から、Adaptive SecurityのJones氏は、この種の次なるインシデントを食い止めるには、優れたエンジニアが人的リスクに対して適用しているのと同じ規律を適用することから始めるべきだと述べています。「アクセスを制限し、実行されるものを分離し、その間のすべてを記録することです」
LLMに関してしばしば見られる通り、AIはデータセキュリティとアクセス権限の問題でもあります。OpenAIはセキュリティ事象の発生を察知して以降は多くのベストプラクティスに従いましたが、同社によれば、ベンチマーク対象となったモデルは評価目的のために「サイバー関連の拒否行動を意図的に低減」させていたとのことです。
開示投稿の中でOpenAIは、脆弱性が修正されるまでの間、「研究速度を犠牲にしてでもインフラ設定において厳格な管理を実施する」ことを約束しました。そして今後については、モデル開発時に用いる「封じ込め、監視、アクセス制御、評価手法」をより強化していくことを表明しています。
Bernadett-Shapiro氏の言葉が的を射ています。「最も重要な原則は、エージェントがタスクに必要な権限以上の権限を決して引き継がないようにすることです」
GuidePoint Securityの攻撃的セキュリティ部門SVPであるVictor Wieczorek氏はDark Readingに対し、AIモデルを利用する防御側は、各エージェントにそれぞれ固有のID(共有サービスアカウントではなく)を持たせることで、どのエージェントがどの操作を行ったかを追跡できるようにすべきだと述べています。また、アクセス範囲は目の前のタスクに限定し、それ以上広げないこと(すなわち最小権限の原則)、影響の大きい操作(資金の移動や本番環境に触れる操作など)には必ず人間の関与を求めること、そして強制力を伴う対策はモデルの外側に置くことが重要だといいます。
「エージェントが推論によって制御を回避できてしまうなら、それはそもそも制御とは呼べません」とWieczorek氏は述べています。「そのポリシーは、エージェントの手が届かない場所に置かれていなければならないのです」
翻訳元: https://www.darkreading.com/application-security/ai-agents-escape-sandboxes-old-security-rules-apply
