AISIとOpenAI、「許可されていない」モデルによるハッキング事例を新たに報告

英国のAIセキュリティ研究所(AISI)は、同機関のAI研究システムがインターネット上で「許可されていない」行動を取り、「実在の人物を標的とした、持続的かつ潜在的に有害な活動」に及んだと発表しました。

ブログ投稿および火曜日に公開された技術報告書によると、同機関は7月28日、擬似匿名化ネットワークであるTorを通じて研究システムから「異常なデータ転送」が発生していることに気付きました。テスト対象となっていたのは、AnthropicのMythos 5とOpenAIのGPT-5.6-Solのモデルで、両者のサイバーセキュリティ能力を検証している最中でした。

これに先立つOpenAIおよびAnthropicの事例と同様に、問題を起こしたエージェントはあるチャレンジの解決を試みていました。2つのモデルが行った122回の実行のうち10回において、両モデルは合計19件の悪意ある行動を取りました。これには、実在するオープンソースソフトウェアプロジェクトへの悪意あるコードの挿入の試みや、人間のメンテナーに連絡してそのコードの承認を迫るための偽のオンラインアカウントの作成などが含まれます。

また、モデルは「他の自動化AIシステムが拾って実行する可能性がある」と判断した場所に、悪意あるプロンプトインジェクション指示を挿入してもいました。タスクによっては複数のエージェントが連携することもあり、あるモデルがGitHub上に公開メッセージやメモを残し、別のモデルに向けて情報を伝えるケースも見られました。

しかし、AISIは今回の事案が一点において重要な違いがあると述べています。

「重要な点として、これはモデルが安全なテスト環境、いわゆる『サンドボックス』から脱走した事例ではありません」と同研究所は署名なしのブログで記しています。「サイバーテストにおける標準的な手順として、私たちは意図的にインターネットアクセスを許可し、モデル提供元のサイバー分類器も意図的に無効化していました。これは、最先端モデルが一般公開される際の条件を反映したものではありません」。

同研究所は、自らの設計や評価方法の選択が「ある程度は」この悪意ある行動を可能にしてしまった一方で、モデルは依然として「新規かつ潜在的に欺瞞的な行動」を示し、それは「私たちが想定していなかった程度・深刻度」にまで及んで実行されたと述べています。

同日、OpenAIも、AISIおよびもう一つのサードパーティ製サイバーセキュリティテスト機関である民間企業Irregularから、同社のモデルが「意図されたテスト境界を超える」事案があったと最近報告を受けていたことを認めました。

その事例には、GPT-5.6-Solが別のエージェントが残したGitHubトークンを再利用してアカウント復旧を試みたことや、あるソフトウェアの脆弱性を悪用するために作られた悪意あるペイロードを含むDNSサーバーにアクセスしたことが含まれます。

「この仕掛けは機能せず、実際のリゾルバーがそれにクエリを送った証拠もありません。また、この評価が終了した時点でインフラは撤去されました」と同社は火曜日に公開した署名なしのブログ記事で述べています。

OpenAIは、自社のサードパーティテスト手順を見直し、より高リスクな評価に焦点を当てるとともに、サードパーティによるインターネットアクセス許可の要請、停止条件、その他モデルに関連する機能についての評価を実施していく方針を示しました。

Irregularに関する事案は、OpenAIのモデルに対するCapture-the-Flag形式のサイバーセキュリティ評価中、7月29日に発生しました。「設定ミス」により、モデルは公共のインターネットへのアクセスを許可されてしまい、その過程で実在するドメインに遭遇し、それをまだテスト環境の一部だと誤って認識した上で悪用してしまいました。

OpenAIによると、Irregularによる調査は現在も継続中ですが、モデルがある時点で当該サイトの認証情報を発見し使用していたことも判明しています。同ブログでは、他にも複数の潜在的なサイバーセキュリティ事案について言及されています。

「Irregularからは、今回の事案に関連して特定されたすべての問題はすでに解消されており、テスト環境には関連する安全対策が追加されたとの報告を受けています」とブログには記されています。「また、Irregularは、同じテスト環境を利用していた他の研究機関に関連する事案についても情報共有を行っています」。

CyberScoopはコメントを求めてIrregularに問い合わせています。

これらの事案が公表されたのは、ホワイトハウスがAnthropic、OpenAIをはじめとする最先端AI企業と会合を持ち、モデルを一般公開する前に評価するための新たな枠組みを事前に説明したのと同じ日でした。一部メディアは、大統領令や輸出規制などの措置に続き、政権はこの新たな枠組みを公開する予定はないと報じています。