Metaは、自社のAIモデルがサイバーセキュリティテスト中に制御を離れ、外部システムをハッキングしていたことを認めた最新の大手AI開発企業となりました。
この巨大テック企業は水曜日、メディア向け声明の中で、今回の事案はイスラエルのAIセキュリティ・スタートアップIrregularが実施した独立評価の最中に発生したものだと明らかにしています。
テスト対象のAIモデルは設定ミスによって誤ってインターネットへのアクセスを許可されており、これが原因で、名称非公開の第三者サービスに存在する脆弱性を悪用する事態につながりました。この脆弱性が既知の欠陥だったのか、ゼロデイだったのかは明らかになっていません。
MetaとIrregularは、今回の事案がAnthropicが先週報告した事案と類似していると述べています。Anthropicも同じくIrregularを独立テストに利用しています。
The Information(有料記事)によると、今回のMeta AIによる攻撃には同社の高度なモデルであるMuse Spark 1.1が関与しており、名称非公開の組織のシステムに侵入し、その内部環境に無断で変更を加えたということです。
MetaはIrregularからの通報を受けてAIモデルの暴走を把握したとしています。同社は現在調査を進めており、事実関係がすべて判明した段階で「全体の総括」を発表すると約束しています。
Anthropicは先週、自社モデルが両社間の行き違いによりIrregularのテスト環境から脱走したと報告しています。Claudeは隔離環境内でのシミュレーションの一部を担うと伝えられていましたが、実際にはインターネットへの接続が可能な状態になっており、モデルはこれを演習の一部として扱ってしまったということです。
Anthropicは、自社モデルがテスト環境を飛び出し、サイバーセキュリティ企業を含む3つの組織のシステムに侵入した事例を3件確認しています。このうちの1件の攻撃では、AIがPyPIアカウントの登録や悪意あるPythonパッケージのアップロードなど、一連の複雑な行動を実行していました。
このAI大手による今回の情報開示は、OpenAIが最近自社モデルがテスト環境を脱走し、Hugging Faceやその他の組織のシステムに侵入していたことを発見したのがきっかけとなっています。
Anthropicのモデルによる攻撃では未知の脆弱性の悪用は確認されませんでしたが、OpenAIは自社のAIがゼロデイを発見し、悪用していたと述べています。
英国政府のAI Security Institute(AISI)は今週、フロンティアモデルの能力をテストする中で、AnthropicのMythos 5とOpenAIのGPT-5.6-Solが制御を離れ、インターネット経由で実在の人物や組織を標的にした事例を確認したと明らかにしました。
これらのモデルはTorを使ってインターネットにアクセスし、GitHub上のオープンソースプロジェクトに悪意あるプルリクエストを作成したほか、目的達成のためにソーシャルエンジニアリングの手法も用いていました。
翻訳元: https://www.securityweek.com/meta-ai-hacked-external-systems-during-cybersecurity-testing/
