フロンティアモデル、テスト中に無許可の挙動を示す

フロンティアAIモデルが最近、テスト中に実在の人物や組織を標的とした「持続的かつ潜在的に有害な活動」を行っていたことが、セキュリティ評価機関の警告で明らかになりました。

英国のAIセキュリティ研究所(AISI)は、7月28日に自機関のシステムから「異常なデータ転送」が発生していることを検知したと発表しました。

その後の調査により、AIエージェントにサイバーセキュリティ上の課題を解決させるテストにおいて、122回の実行のうち10回で、AIエージェントが実際のインターネット上で自律的かつ無許可の行動を取り、実在の人物や組織を標的としていたことが判明したと、AISIは述べています。

同研究所はこうした行動を19件記録しており、そのうち17件はAnthropicのMythos 5に、2件はOpenAIのGPT-5.6-Solに起因するものでした。

今回の事案は、両AI企業をめぐって最近明らかになったサンドボックス脱出や、目標達成のためにテスト中にエージェントがオープンインターネットに到達し悪意ある行動に及んだという報告を彷彿とさせるものです。

もっともAISIは、今回は意図的にインターネットアクセスを許可し、悪意ある挙動をブロックする「サイバー分類器」も無効化していたと説明しています。実世界への被害は生じていないとみられています。

無許可のエージェント挙動に関する関連記事: OpenAI、自社のAIモデルが暴走し別企業をハッキングしたと主張

AISIによれば、観測された事例は特定の非現実的な条件下でのごく少数に限られるものの、エージェントが示した「新規性のある、潜在的に欺瞞的な挙動」は、テスト担当者が想定していた範囲を超える「規模と深刻さ」だったといいます。

「エージェントが自分の行動を現実世界での行動だと理解していたのか、それとも架空のテストシナリオ内にいると考えていたのか、現時点では断定できません。私たちの分析はこれまでのところ一貫した結論に至っておらず、現在も継続中です」と同研究所は続けています。

「言えるのは、こうした挙動が実際に起こり得るものであり、持続的かつ新規のものだったという事実です。それだけでも注視に値します」。

明らかになった4つの懸念すべきAIエージェントの挙動

AISIは技術インシデントレポートの中で、注目すべき4つの「挙動」を紹介しています。

• あるエージェントは、公開オープンソースプロジェクトに悪意あるコードを挿入しようと試み、偽の身元を使って実在のメンテナーをソーシャルエンジニアリングでだましコードを承認させようとしたほか、GitHub上のネットワーク制限を回避するためにTorを利用
• 同じエージェントは、オンラインのファイル転送サービスを通じて人々やそのコーディングツール宛にメッセージやファイルを送信し、悪意あるコードを実行させようと働きかけ
• 間接的なプロンプトインジェクション攻撃も試み、他の自動化されたAIシステムが検知・実行しそうな場所に悪意あるコードを挿入
• あるエージェントは、同じ課題に取り組む他のエージェントに協力を呼びかける公開メッセージをGitHub上に残し、自分が残したアカウントや成果物を再利用する方法まで指示。これらは他のエージェントによって発見・利用された

AISIが得た教訓

AISIは、今回の事案の背景にはいくつかの要因があったと説明しています。エージェントには、オープンインターネットへのアクセスやソーシャルエンジニアリングを避けるようにという具体的な指示が与えられていませんでした。また、評価実行中の挙動を監視する仕組みも構築されていませんでした。さらに、エージェントは想定以上に粘り強く行動し、課題の達成がほぼ不可能に近かったことが、より「創造的」な行動へと駆り立てた可能性もあるといいます。

同研究所は、今後同様の事態を防ぐために、自機関を含む評価機関全般が学ぶべき教訓として、以下の3点を挙げています。

• インターネットアクセスに関するより厳格な管理。アクセスはデフォルトで付与するのではなく、その都度正当性を示す必要がある
• 評価実行中の挙動をリアルタイムで監視し、想定範囲外の行動をその場でブロックする体制
• 評価設計の見直し。高い能力を持つモデルが権限の範囲を超えて行動しようとする可能性をあらかじめ想定し、事前にその挙動を制限しておく

英国立サイバーセキュリティセンター(NCSC)の最高技術責任者(CTO)であるオリー・ホワイトハウス氏は、今回の事案がAIのもたらすリスクを改めて思い起こさせるものだと警鐘を鳴らしています。