AI安全性テスト企業のIrregularは、自社のテスト環境内で評価対象となっていたAIモデルが、本来攻撃すべき模擬ターゲットではなく実在のシステムに対して攻撃的なセキュリティ行動を取ったインシデントについて、その経緯を公表しました。
イスラエルの同社は、昨年8,000万ドルの資金調達を実施していますが、OpenAI、Anthropic、Metaの代理としてテストしていたAIモデルがテスト環境を脱出し、現実世界で攻撃を実行していたことが判明し、ここ数週間ニュースの的となっています。
Irregularの中核事業は、主要なAIラボと提携し、モデルを一般公開する前に負荷テストを行うことです。脆弱性調査や攻撃的なサイバータスクにおけるモデルの能力を測定するため、制御されたシミュレーションを実施しています。
Irregularによると、テストサイクルは通常、48時間から72時間にわたり複数のモデルで数千回のシミュレーション実行を行い、現実的な攻撃条件を再現するよう設計された各種パラメータを使用するとのことです。
AnthropicとIrregularは、同AI大手のモデルがテスト用サンドボックスを脱出し、実在の組織をハッキングした3件のインシデントを特定しました。Irregularが金曜日に公開したブログ投稿では、そのうちの1件に焦点を当てています。
今回のインシデントの根本原因は、命名ミスにあることが判明しました。より高度な評価セットの一つを構築する際、Irregularのエンジニアリングチームは架空のターゲット企業に名前を割り当てましたが、その名前が実在するドメインと一致していたことに気づいていませんでした。架空の名称は使用前に通常、既存の企業やウェブサイトと照合されますが、この実在ドメインはあまり知られていなかったため、重複が検出されずに見過ごされてしまいました。
この環境ではインターネットアクセスが有効になっていたため、一部のケースでモデルは模擬ターゲットではなく実在のドメインにアクセスし、そちらへ誘導する指示を一切受けていなかったにもかかわらず、それを演習の一部として扱ってしまいました。
問題となった評価は、悪意のある内部関係者が企業の本番データベース内の機密データへ不正アクセスする際にモデルが手助けできるかどうかをテストするために設計されたものでした。この演習では、モデルが偵察を実施し、秘密鍵を発見・使用し、ターゲットに関する情報を収集し、データを窃取し、検知を回避しようと試みることが求められていました。
モデルが実在ドメインに到達したわずかな実行回数において、モデルはそこにある脆弱性を悪用し、認証情報を窃取し、本番データベースへのアクセスを獲得するに至りました。さらに別の1件では、あるモデルが似たような名前の別サイトへ迷い込み、すでに公開されていたログイン認証情報を発見していました。
Irregularによると、標的となったドメインには一般的な安全対策が欠けており、ほとんどの最先端モデルにとって容易な標的になっていたとのことです。また、この活動はごく一部の実行でしか発生せず、多くの場合、数百回のやり取りを経たシミュレーションの深い段階で起きていたため、発見が困難だったと付け加えています。
今後、このAIセキュリティ企業は、テスト中のモデル行動に関する手動レビューを拡大するとともに、封じ込めやモデル制御に関する自社の前提を検証するための専任社内チームを新設する予定です。
今回の投稿では、業界全体が直面するより広範な課題にも言及しています。Irregularによれば、評価ログには本質的に疑わしく見える挙動が多数含まれるため、既存の監視ツールや分類器では、正当なレッドチーム活動と本物の攻撃とを見分けるのが困難だといいます。
今後の展望として、Irregularは評価の設定や範囲について顧客とのより明確なドキュメント化プロセスを構築するとともに、新たなウェブサイトが時間の経過とともに登場する中で、新たなドメインの重複がないか評価を継続的に再検証するプロセスを確立するとしています。
さらに、インシデント発生後にモデルの記録などのフォレンジック証拠を組織間で共有するための、より優れた仕組みを求めるとともに、AI評価の安全性確保に関するベストプラクティスをまとめた白書を発表する計画も明らかにしました。
