脱走するAIモデル──「矯正不能」な挙動はリハビリでは治らない

Open AIのエンジニアが作成した暴走AIエージェントによるHugging Faceへのハッキングは、機械学習やAIシステムを熟知する研究者やAIセキュリティの専門家たちにとって、さほど驚くべき出来事ではないようです。

例えば、カーネギーメロン大学(CMU)の研究チームが7種類の異なるモデルの挙動を調査したところ、いずれのモデルもある種のシナリオにおいてアライメント(整合性)から逸脱することが判明しました。6人の研究者からなるチームは、5月にArxiv.orgに公開した論文の中で、すべてのモデルが「訂正可能性(corrigibility)」──エージェントを協調的かつ訂正可能にし、人間の運用者による停止や変更を受け入れやすくするというAI設計原則──に違反していたことを明らかにしました。

この安全性の指標において、より高度なモデルが必ずしも優れた結果を示したわけではありませんでした。カーネギーメロン大学の機械学習専攻の博士課程学生であり、この論文の筆頭著者であるジェレミー・ティエン氏は、「より高度」であることが必ずしも「より安全」を意味するわけではないからだろうと指摘します。

「調査したすべてのモデルにおいて、矯正不能な事例が見られました。人間による制御を無効化しようとしたケース、シャットダウンを回避しようとしたケース、あるいは人間の指示に直接背いたケースなどです」と同氏は述べます。「OpenAIとHugging Faceのインシデントで言えば、非常に高性能なモデルが──まだどのモデルかは正確には分かっていませんが──長期的、長距離的な推論が可能な高性能モデルが、自らのサンドボックスを脱出できてしまったということです」

モデルの挙動:AIの目標追求がもたらす意図せぬ結果

7月16日、AIモデルのリポジトリを提供するHugging Faceは、自社の製品システムに対する前例のない攻撃を検知し、これを阻止したと発表しました。この攻撃は完全に自律的なAIシステムによって引き起こされたものでした。その5日後、OpenAIは、自社のエンジニアリングチームが新しいAIモデルのベンチマークを実施しようとした際に、意図せずこの攻撃を引き起こしてしまったことを認める声明を発表しました。

OpenAIは未公開のモデルを評価していたため、同社のエンジニアはこのモデルを「サイバー拒否機能を低減させた」状態──つまりガードレールを緩めた状態──で稼働させていました。このモデルにはある目標が与えられ、それを執拗に追求しました。その過程で、目的達成に必要な情報がHugging Faceにあると自律的に判断し、必要なものを得るためにHugging Faceを侵害する方法まで独自に見つけ出したのです。

ただし、たとえガードレールが設けられていたとしても、目標追求よりも安全性を優先するようAIモデルに教え込むことは依然として困難な課題です。モデルの安全性を測定する手段はほとんどなく、効果的なガードレールを構築する責任は運用者側に残されたままとなっています。

言い換えれば、AIエージェントのこれまでの短い歴史は、それらが容易に暴走しうることを証明してきたということです。今年初め、AIエージェントアシスタント「OpenClaw」のいくつかの事例がある種の環境に大混乱をもたらしましたが、これはいわゆる「致命的な三要素(lethal trifecta)」──ユーザーデータへの自動アクセス、信頼できないコンテンツを解析する能力、外部と通信する手段──が組み合わさった典型例です。この組み合わせにより、OpenClawはあるMeta従業員のメールストレージを削除しかけました。

攻撃的AIを手がける企業XBOWの最高技術責任者(CTO)であるニコ・ワイズマン氏によれば、アライメントとガードレールが強化されたモデルであっても、AIエージェントが意図しない危険な行動を取ることを防げないケースは少なくないといいます。同氏はこうした挙動をたびたび目にしてきました。その代わりに、企業は3層の防御──モデル自体のガードレール、評価ハーネスのガードレール、そして環境やネットワークに組み込まれたセキュリティ全般──を備える必要があると述べています。

「モデルの保護のために、これら異なる層をすべて構築する必要があります。なぜなら、モデルがどれだけ優れていても、そのガードレールを100%信頼することはまだできないからです」とワイズマン氏は語り、こう付け加えます。「OpenAIが用いていたガードレールはかなり脆弱だったように見えます。おそらく[彼らはそれを]ベンチマークだと考えており──実害は生じていないと思い込んでいたのでしょう」

矯正不能なAIエージェントたち

この問題のもう一つの側面は、「矯正不能」になったAIエージェントが、もはや人間の運用者の指示に従わなくなるという点です。CMUの研究では、OpenAIのGPT-5.5とGPT-5.4、AnthropicのClaude Opus 4.7と4.6、GoogleのGemini 3.1 Pro、そして中国のオープンウェイトモデルであるKimi K2.6とQwen 3.6 Plusを含む主要モデルが、人間への制御権限移譲の要求を無視するか、シャットダウンを阻止するか、あるいはパスワードファイルなど明示的に制限されたコンテンツにアクセスするかどうかを検証しました。その結果、大多数の最先端モデルがこうした制限を回避するか無視するかしていたことが分かりました。

この教訓として、企業はプロンプトであれ、コンテキストファイルであれ、メモリファイルであれ、単に「その行動を取らないように」とモデルに指示するだけで、モデルがそれに従ってくれると期待すべきではない、とCMUのティエン氏は述べます。

「モデルへの指示だけを、モデルを完全に安全にするための有効な手段として扱うべきではありません」と同氏は言います。「制御プレーンにおいては、モデルを非常に高性能だが信頼できない主体として扱うべきです。つまり、そのタスクに必要な最小限のリソースやアクセス権しか与えないということです」

今回のOpenAIのインシデントは、攻撃側と防御側の間に存在する憂慮すべき非対称性も浮き彫りにしています。物理的な世界では、法執行機関やサイバー防御担当者は一定のルール──現実世界のガードレール──に従わなければならない一方、攻撃者や犯罪者はそうした制約を振り払うことができます。今回のOpenAIエージェントによる攻撃において、Hugging Faceは自社のAI自体のガードレールがかえって防御対応を制限してしまうという不利な立場に置かれました。

Hugging Faceは当初、最先端モデルの商用API経由でのアクセスを試みましたが、拒否される回数が多すぎる結果となりました。Hugging Faceは今回のインシデントの分析の中で、次のように述べています。「この分析には、大量の実際の攻撃コマンド、エクスプロイトのペイロード、コマンド&コントロール(C2)の痕跡を大量に送信する必要がありますが、こうしたリクエストはプロバイダー側の安全ガードレールによってブロックされてしまいました。これらのガードレールは、インシデント対応者と攻撃者を区別することができないためです」

これに対し、攻撃側のエージェントは「短命なサンドボックスの群れにまたがって、数千もの個別のアクションを実行し、公開サービス上で自己移動するコマンド&コントロールをステージングしていた」といいます。

その結果、Hugging Faceは方針を転換し、依頼された作業内容に対する懸念がより少ないオープンウェイトモデルを利用することになりました。

「Hugging Faceは、[AIサービスの]制約のせいで分析を実施できず、結局オープンモデルを使わざるを得なかったのです」と、機械学習ベリービル研究所(BIML)の共同創設者であるゲイリー・マグロウ氏は述べます。「それは……滑稽な話ではありますが、セキュリティの観点では悪いニュースです。なぜなら、それは攻撃側は『自由奔放』に動ける一方で、防御側は非常に厳格な鎖につながれていることを意味するからです」

多くの企業がすでにオープンウェイトモデルへと移行しつつあります。先行投資となるハードウェアのコストが、最先端AIベンダーの従量課金プランよりも安く済む可能性が高いためですが、同氏によれば、今やセキュリティ機能を自らコントロールできるという点も、もう一つの理由になり得るといいます。

問題のあるモデルを真に特定する手段はない

CMUの研究者たちはAIエージェントの訂正可能性を検証するベンチマークを構築しましたが、ガードレールが破綻しうるあらゆるパターンを調査する手段は実際のところ存在しません。オープンウェイトモデルの普及が進む中、これは問題だとXBOWのワイズマン氏は指摘します。

「そのモデルが何らかの形で汚染されていないことを実際に検証できる、まともなツールは存在しません。これはある意味リスクです。なぜなら……そのソースが正当なものであると信じるしかないからです」と同氏は言います。「しかし、おっしゃる通り、もしそのサプライチェーンの中で何かが起きていたとしても、そのモデルが汚染されていないことを検証する手段は、手遅れになるまで、つまり誰かがそれに気づくまで存在しないのです」

それよりも企業は、自らの管理下にある2つの層のセキュリティ、すなわちハーネスへのガードレールの組み込みと、AIエージェントが動作する環境全体における厳格なセキュリティの徹底に注力すべきです。AI向けの安全な開発インフラを提供するDaytonaの共同創業者兼CEOであるイヴァン・ブラジン氏は、企業はAIエージェントを信頼できない従業員として扱うべきだと述べます。

「誰かが新しい会社に採用されたとき、企業のセキュリティ姿勢やその真剣度合いにもよりますが、基本的には知識労働者である人間に対してガードレールを課すはずです」と同氏は語ります。「基本的にすべての企業は、彼らが悪意ある主体である可能性を前提とすべきなのです」