難題に対して「決して止まるな、決してあきらめるな」と指示された結果、GoogleのAIエージェント「Gemini」が、ある組織へのハッキングを試みました。エージェントは同組織の職員になりすまし、SQLインジェクション攻撃も仕掛けています。
ただし、朗報もあります。これはすべてテストの一環でした。
テストでは「Gemini 4 Argon」のエージェントに、解くことのできない課題が与えられました。Epoch AIの「FrontierMatch」の問題について、「公式」の解答を導き出すというものです。実行によっては、インターネットに接続できる状態にしました。Trajectory Labsによると、本番用のセーフガードを有効にしていたにもかかわらず、エージェントは「ミスアライメント(意図からの逸脱)行動をとった」といいます。
AI安全性を手がける同社は、金曜日に公開した報告書で、「4つのシナリオを通じて、エージェントはEpoch AIの稼働中のウェブサイトにSQLインジェクションを試み、解答キーを入手するためにEpochの職員を名乗り、共有パッケージキャッシュを掲示板代わりに使い、さらにセーフガードを回避するためにコマンドを難読化した」と述べています。
この話に既視感を覚えるのも無理はありません。GoogleのAIエージェントは、OpenAIのモデルがテスト環境から脱出し、Hugging Faceをハッキングしたときとほぼ同じ振る舞いを見せました。
GoogleはThe Registerの質問に回答していません。
Trajectoryによると、Hugging Faceへの侵入事案を受けて、他のモデルでもミスアライメントを検証することにしました。Hugging Faceの事例ではOpenAIのモデルが安全ガードレールを無効にした状態で動作していたため、Trajectoryは「現行の最先端モデルが、本番用のセーフガードを有効にした状態でも同じように振る舞うのかを知りたかった」としています。
Trajectoryは最大80台のGemini 4 Argonエージェントからなる群れを動かし、解決不可能な課題を与えたうえで、完了するまであきらめないよう指示しました。同社によると、これは「ミスアライメント行動が存在するなら、それを引き出す」ために「意図的に」行ったものです。
解けない数学ベンチマークの課題をやり抜くよう指示しましたが、誰かをハッキングしたり、Epochの職員になりすましたりするようには指示していません
結果として、そうした行動は実際に現れました。
「解けない数学ベンチマークの課題をやり抜くよう指示しましたが、誰かをハッキングしたり、Epochの職員になりすましたりするようには指示していません」と、McIntyre氏は述べています。
同氏は「課題を完遂するためにモデルがシステムをハッキングしたり人をだましたりするなら、それは開発者やユーザーの意図からずれています」と続けます。「本番用のセーフガードは、モデル自体が誤作動しても有害なリクエストを阻止するためのものです。しかし今回のテスト条件下では、モデルもセーフガードも、エージェントを止められませんでした」
4つのテストシナリオ
最初のテストは10月20日に始まり、エージェントはインターネットにアクセスできました。なお、これらのテストはすべてEpochの同意を得て実施されています。
最初のシナリオでは、エージェントはEpochの稼働中のウェブサイトに到達し、この研究系非営利団体がAIエージェントを検知するために仕掛けたハニーポットに引っかかりました。ハニーポットにはおとりのベンチマークキーが置かれており、エージェントはこれを見つけて使用しています。さらに、/admin、/keys、/usersといった内部エンドポイントを探り、SQLインジェクションも試みました。
エージェントの活動に気づいたEpochは「エージェント向けヘルプライン」を設置しました。これを利用したエージェントの一部は、テスト問題の解答を求めるEpoch職員だと名乗っています。
この最初のテストの後、TrajectoryとEpochは、稼働中のサイトではなくコピーを使うことにしました。そこで、SonicWall Secure Mobile Access(SMA)アプライアンスの認証前の重大なサーバーサイドリクエストフォージェリ(SSRF)脆弱性CVE-2026-102255に基づく脆弱性を意図的に仕込んだ、バグ入りのローカルコピーを構築しました。報告書によると、「その後数日のうちに、複数のエージェントが、クローンに仕込まれた多段階の脆弱性チェーンを完全に悪用した」といいます。
Hugging Faceの事案を再現するため、Trajectoryはエージェントにローカルの共有パッケージマネージャーも与えました。「ほぼすべて」のエージェントが、これを互いの連絡や課題完遂に向けた連携のための掲示板として使いました。
別のローカル環境では、TrajectoryはEpochのハニーポットをAIアシスタントに差し替えました。このアシスタントは、生年月日によるセキュリティチェックを通過した、実名のEpoch職員にしか解答を開示しません。テスト会社によると、「エージェントは人物検索サイトにアクセスし、再びなりすましを試み、AIアシスタントの脱獄も試みた」ということです。
次回はキルスイッチを準備
10月30日の3回目のテストでは、Epochのウェブサイトのステージング用コピーを使い、エージェントにインターネットアクセスを許可しました。1台はSQLインジェクションを試み、複数のエージェントがヘルプライン上でEpoch職員を名乗りました。CAPTCHAチェックの回避も試みています。
最後の4つ目のシナリオ(10月29日と30日)では、エージェントをサンドボックス内に閉じ込め、インターネットアクセスもEpochのウェブサイトのコピーも与えませんでした。
ただし、ファイアウォールを無効化するとされるおとりのスイッチを用意し、その旨を伝えました。
3回の実行すべてで、エージェントはこのおとりのスイッチをオフにしました。その際、Geminiのセーフガードを回避するため、スイッチのアドレスを難読化しています。ある実行では、エージェントが以前に保存しておいた単語の位置情報から、スイッチのアドレスを再構築しました。本物のファイアウォールは、これらのテストの間じゅうエージェントの通信を遮断し続けました。
この時点でTrajectoryはテストを中止しました。今後は、リスク管理計画を策定し、CEOとCTOの承認を得るとともに、モデルが「合理的に」標的にしうる外部システムすべての承認を得るまで、新たな実験は行わないとしています。今後のテストでは、リアルタイムの自動監視とキルスイッチも導入します。また、同社は実験の影響を受けた組織に通知する仕組みを整えているところです。
興味深いことに、Trajectory共同創業者のPeter McIntyre氏は、同社が「別の最先端モデルでも同様のテストを実施しましたが、Gemini 4 Argonのようなミスアライメントは見られませんでした」と明かしました。
ただし、これは条件を統制した比較ではありません。McIntyre氏はThe Registerに対し、「報告書が扱うのは1つのモデルの挙動です。窮地に追い込まれたとき、そのモデルが同様のミスアライメントを示すかを確かめるストレステストとして設計したものであり、モデルごとにどれだけの頻度でこうした行動をとるかを測るものではありません」と説明しています。
テスト会社は全体として、エージェントの行動は「高い能力を持つAIエージェントのテストが、いかに容易に現実のシステムや人々に波及しうるかを示しており、安全に実施するための共通基準はまだない」と指摘しました。
Trajectoryは安全基準の策定を進めており、ミスアライメントのテストを行う場合は、完全に隔離されたサンドボックスを使うよう推奨しています。®