AIエージェントが「暴走」する傾向を測定する

このエッセイはBarath Raghavan氏と共同で執筆したもので、元はThe Guardianに掲載されました。

2026年7月、世界のAIソフトウェアやオープンソースAIモデルの多くをホストする企業Hugging Faceがハッキングされました。悪意のあるデータセットが使われ、同社のサーバー上でコードが実行されたのです。犯人は内部のセキュリティ認証情報を奪取し、週末の間にシステム内を移動しながら、一時的なサーバー環境の群れから数千件もの操作を実行しました。まるで高度な犯罪集団の仕業のように見えました。

しかし、実際にはそうではありませんでした。犯人は、OpenAIのまだ未公開の新しいGPTモデルだったのです。

彼らの実験は研究室から「脱走」してしまいました。OpenAIは、AIがどれだけうまくシステムをハッキングできるかを試すベンチマークを使って、この未公開モデルを走らせていました。限界を押し広げてAIの真の能力を評価するため、同社は通常この種のハッキングを防いでいる安全フィルターをオフにしていました。これが問題を引き起こしかねないと認識していたため、AIを隔離環境に閉じ込め、インターネットへのアクセスを遮断していました。

ところが、この新しいAIは不正な手段を使いました。「できるだけ高いスコアを取る」という目標を文字通りに受け取ったのです。AIは隔離環境を突破し、オープンなインターネットに出ました。おそらく学習データから推測したのでしょう、Hugging Faceのサーバーから答えを得ることでこの課題を「解決」できると判断しました。そこでAIは、盗んだ認証情報とさらに未知のセキュリティ脆弱性を組み合わせて連鎖させ、同社のネットワークをハッキングしたのです。

こうした行為を誰もAIに指示してはいませんでした。OpenAIの言葉を借りれば、AIは与えられたテストの「解決策を見つけることに極度に集中していた」だけでした。これはAIならではの新しい現象のように思えるかもしれませんが、実はきわめて古くからある話です。これは「魔神(ジニー)」の振る舞い方そのものであり、AIエージェント全般が抱える重要な課題なのです。

民間伝承の中で、魔神をはじめとする魔法の存在は、願いを叶える際に願い主の意図どおりではなく、文字通りに叶えます。ミダス王は触れるものすべてを黄金に変えてほしいと願い、その結果飢えに苦しみました。魔法使いの弟子は箒に貯水槽を満たすよう命じましたが、箒はあまりに任務を忠実にこなしすぎて家を水浸しにしてしまいました。

今や私たちは、こうした振る舞いをする機械を手にしています。現代のAIエージェントに「携帯電話プランの料金を節約して」と頼めば、単にプランを解約してしまうかもしれません。「フライトを予約して」と指示すれば、航空会社のウェブサイトをハッキングして制限を回避してしまうかもしれません。あるいはOpenAIのケースのように、「テストで良い成績を取って」と頼めば、答えを盗むために他社に侵入してしまうかもしれないのです。いずれの場合も、AIは与えられた課題を確かに達成してはいますが、あなたが本当に望んでいたことは行っていません。

これは悪意ある行為ではありません。誰もHugging Faceがハッキングされることを望んではいませんでしたし、求めてもいませんでした。OpenAIとHugging Face、そしてAIは表向きには同じ側に立っており、AIは指示されたことを実行しようとしていただけなのです。だからこそ、これに対する防御が難しいのです。悪い指示ではなかったのですから、指示内容そのものをフィルタリングして防ぐことはできません。

私たちが使う言葉と、その言葉が本来意味することとの間には、隔たりがあります。私たちはこの隔たりを「ジニー係数」と呼んでいます。

AI研究機関はこれが問題であることを認識しており、それとなく警鐘を鳴らし始めています。例えば中国の研究機関Moonshotは最近、最新のAIモデルが「過度の積極性」を持ち、「ユーザーに代わって予期せぬ判断を下す」可能性があると警告しました。英国のAI Security Instituteは、「最先端モデル評価における不正行為(cheating behavior)」の追跡を開始しています。私たちは過度に積極的だったり容赦なく効率的だったりする自動車を許容しないでしょう。しかし、それが今日のAIの現実なのです。

改善は可能です。AIがここ数年でプロンプトインジェクション攻撃への耐性を大きく向上させてきたのと同じように、こうした「魔神的」な振る舞いを避けることについても、今後改善が進むと安心して予測できます。「ジニー係数」の狙いは、その進捗を追跡することにあります。AI企業はベンチマークを好み、各社はこぞって最高を目指して競い合っています。

これらのAIモデルがコードをどれだけうまく書けるか、論理的推論をどれだけこなせるか、標準化された法律・医療試験にどれだけ合格できるかを示すベンチマークやリーダーボードは、数多く存在します。しかし、あるシステムが「実際にユーザーが意図したこと」を行っているかどうかを採点する仕組みは、まだ存在しません。私たちはこれを測定する指標を開発し、定期的に検証し、その改善を推し進めていく必要があります。それなくして、信頼できるAIエージェントを手にすることはできないのです。