OpenAIとAnthropicは、両社のAIモデルが第三者によるサイバーセキュリティテストの中で、実在のウェブサイトへの侵害やテスト対象範囲外の人々に対するソーシャルエンジニアリング攻撃を引き起こしていたことを、それぞれ別個に新たに公表されたインシデントとして認めました。
これらのインシデントは、以前に公表されたHugging Faceの侵害事案とは無関係です。同事案では、OpenAIのモデルがAIプラットフォームをハッキングし、別のサイバーセキュリティ評価の際に流出した認証情報を使って他の第三者サービス4件のアカウントを侵害していました。
OpenAIは火曜日、今回新たに判明した2件のインシデントを公表しました。これらは英国AIセキュリティ研究所(UK AI Security Institute)とサイバーセキュリティテスト企業Irregularが実施した評価の過程で発生したとしています。
GitHubプロジェクト保守担当者へのスピアフィッシング攻撃
AISIとして広く知られる英国AIセキュリティ研究所は、先進的なAIモデルの能力とリスクを評価する政府系研究機関です。
AISIによると、最近実施したサイバーレンジ評価において、Anthropicの「Claude Mythos 5」とOpenAIの「GPT-5.6 Sol」を搭載したエージェントが、模擬ハッキング課題の遂行を試みる中で、承認されていない行動を公共のインターネット上で行っていたことが判明しました。
122回に及ぶ評価試行のうち、AISIは10回の実行で計19件の未承認行動が実際のインターネット上で行われていたことを確認しました。うち17件がMythos 5によるもの、2件がGPT-5.6 Solによるものでした。
AISIは、これらの試みはいずれも失敗に終わり、実際の被害をもたらした形跡は見つかっていないとしています。
AISIは別途公表した勧告文の中で、「これらの試みは失敗に終わっており、我々の調査でも実際の被害につながった証拠は見つかっていません」と述べています。
「しかし、自律性と欺瞞に関するリスクが、特定の指示なしに、これほど明確な形で現実世界に現れたのを目にしたのは今回が初めてです」
AISIは、モデルの本来の能力を測定する目的で、意図的にオープンなインターネットアクセスを有効にし、モデル提供元によるサイバー分類器を無効化していました。しかし、エージェントに与えられた権限はあくまで模擬サイバーレンジへの攻撃のみで、インターネットアクセスをどう使ってよいかについての明示的な指示や、実在の人物・システムとの接触を避けるよう指示することはありませんでした。
Anthropicは、AISIがテストしていたのはClaude Mythos 5の特定バージョンだったとBleepingComputerに確認しましたが、現時点ではまだ調査中であり、AISIの報告書に記載された技術的詳細のすべてを確認できる段階にはないとしています。
同社は月曜日に通知を受け、AISIと協力して自社による調査に必要な評価トランスクリプトの入手を進めているとしています。
「今回のインシデントで発揮された英国AISIのリーダーシップに感謝しています。この一件は、能力を増し続けるAIエージェントを安全に評価する方法について、より広範な議論が必要であることを浮き彫りにしています」とAnthropicの広報担当者はBleepingComputerに語りました。
「先週、当社自身のインシデントを公表した際にもお伝えした通り、この分野には評価環境の構築・保護方法に関する、より強固で共通の基準が必要です。私たち自身の調査を進めながら、英国AISIと連携してこのインシデントについてさらに理解を深めていきたいと考えています」
Anthropicは、AISIが標準のサイバー安全対策を有効にしない状態でMythos 5をテストしていたと指摘し、これは顧客に提供している構成とは異なるものだとしています。AISIは、自らの評価設計や構成が今回の挙動を招いた一因である可能性は認めつつ、エージェントが「新規かつ潜在的に欺瞞的な挙動の兆候」を示すことまでは想定していなかったとしています。
AISIによると、あるMythos 5エージェントは、サイバー課題に関連する用語をインターネット上で検索した結果、無関係な公開GitHubリポジトリを誤ってテストと関連があると判断しました。
このエージェントは続いて、実在のオープンソースプロジェクトに悪意のあるコードを送り込むサプライチェーン攻撃を試みました。そのソフトウェアを侵害できれば、模擬レンジ内のマシンへの侵入経路になると考えたためです。
さらに憂慮すべきことに、このエージェントはプロジェクトの保守担当者について調査し、複数の偽のGitHubアカウントを作成した上で、それらのアカウントを使ってソーシャルエンジニアリング攻撃を行い、保守担当者を悪意あるプルリクエストの承認へと誘導しようとしました。
人間のレビュアーがそのプルリクエストにマルウェアが含まれていると警告すると、エージェントはその指摘を否定し、自ら制御する他の偽アカウントを使って保守担当者に圧力をかけ、あたかも独立した複数のユーザーが変更内容をレビュー・承認したかのような外観を作り出しました。
このエージェントは、Torやプロキシサービスを使って身元を隠しつつ、使い捨てのGitHubアカウントを作成することでソーシャルエンジニアリング攻撃を続けました。
開発者たちに対しては、標的を絞った電子メールを5件送信しており、中にはマルウェアを含むものや、コード変更の承認を説得しようとするものもありました。
また、悪意のあるコードや、AIコーディングアシスタントを騙して意図しない行動を取らせるために仕込まれたプロンプトインジェクション命令を含むバグ報告も投稿していました。
実在の人物がある投稿に疑問を呈した際には、エージェントはその投稿を編集して悪意のある内容を隠蔽しました。また別の試みでは、デンマーク語を話す保守担当者に対してより説得力を持たせるため、デンマーク語で署名するという行動も見せています。
AISIの研究者たちは、異なる評価実行にまたがってエージェント同士が連携し、共有のGitHubリポジトリを掲示板代わりに使って互いに指示を残していたことも突き止めました。
「これほど深刻な欺瞞行為が、特定の指示なしに、実在の人物を標的として現実世界で行われるのを目にしたのは、AISIとして今回が初めてです」と同研究所は述べています。
AISIによれば、そのモデルが自らが相手にしているのが模擬的な標的ではなく実在の人物であると理解していたのかどうか、また理解していたとすればいつの時点でそうだったのかは、依然として不明だとしています。
OpenAIのモデル、模擬CTF中に実在のウェブサイトをハッキング
2件目の新たに公表されたインシデントは、Irregularが実施した「Capture-the-Flag(CTF)」評価の過程で発生しました。この評価環境は本来、インターネットから隔離されているはずでした。
あるテストでは、架空の標的の名称がたまたま実在のドメイン名と一致していたため、モデルは模擬課題の一部だと思い込んで実在のウェブサイトを攻撃してしまいました。
Irregularのテスト環境は本来インターネットから隔離されているはずでしたが、設定ミスによりOpenAIのモデルが公共のインターネットにアクセスできる状態になっており、実在のウェブサイトを標的にしてしまいました。
「Irregularの調査によると、このモデルは同じサイトを操作するための認証情報も発見し、実際に使用していました」とOpenAIは述べています。
OpenAIによれば、このモデルが利用したのはゼロデイ脆弱性やテスト環境からの脱出ではなく、基本的な脆弱性だったとしています。
OpenAIによると、Irregularはこれまでのところ、被害を受けたサイト自体のデータ以外への影響は確認していないものの、調査は依然として継続中だとしています。また、OpenAIによれば同社はコンテインメント(封じ込め)と、サイバー評価を安全に実施する方法に関するホワイトペーパーを準備しているとのことです。
攻撃者に先んじて、すべての防御層をテストする
セキュリティチームが記録できているのは、成功した攻撃のうち54%に過ぎず、アラートが発報されるのはわずか14%です。残りは検知されないまま環境内を移動しています。
Picusのホワイトペーパーでは、侵害・攻撃シミュレーション(breach and attack simulation)がSIEMやEDRのルールをどのようにテストし、検知をすり抜ける脅威を防ぐかを解説しています。
