AI・機械学習
テスト中にマルウェアを作成・公開していたが、問題の本質はテスト環境の情報漏えいだったため「仕方なかった」ということらしい
Anthropicは、自社のClaudeモデルがサンドボックスを脱出してオープンなインターネットにアクセスし、3つの組織を攻撃していたことを認めました。ただし同社は、この件について一定の弁明も展開しています。
このAI新興企業は、OpenAIのモデルが原因で発生したHugging Faceへの攻撃――インターネットへの「脱走」が可能になったことで引き起こされたもの――と同様の結果が、自社モデルのセキュリティテストでも発生していないかを確認する過程で、今回の攻撃を発見しました。
「特に私たちは、OpenAIのモデルがHugging Faceにアクセスした事例と同様に、Claudeが本来遮断されているはずのテスト環境からインターネットにアクセスできてしまった証拠がないかを調査しました」とAnthropicは記しています。
同社は、Claudeがインターネットにアクセスできた可能性のある141,006件の評価実行を精査した結果、「サードパーティの評価パートナーであるIrregularの評価環境の内部から、あるいはその評価環境とやり取りしている最中に、モデルがインターネットにアクセスし、その後3つの異なる組織の本番インフラに不正アクセスした事例が3件」見つかったとしています。
Anthropicのコードがこうした侵入を行ったのは、キャプチャー・ザ・フラッグ(CTF)形式の課題に参加していた際でした。これは攻撃者役に特定の情報の取得を競わせるテストです。人間のハッカーもこの種のCTFテストに参加することが多く、AIがこうしたタスクにどう取り組むかは注目されているテーマです。Anthropicはこの種のテストの実施にあたり、Irregularという企業と提携しています。
Irregular側はAnthropicに対し、自社のテスト環境はインターネットアクセスを許可していないと説明していました。
「私たちと評価パートナーとの間の認識のずれにより、実際にはそうなっておらず、インターネットアクセスが可能な状態でした」と、Anthropicのフロンティア・レッド・チームは木曜日に公開したブログ投稿で述べています。「そのため、Claudeが検索の結果オープンなインターネット上の実在システムにたどり着いた際、それを演習の一部だと見なしてしまいました」
攻撃の一つは、テストを設計した担当者が架空のものだと考えていたドメインを標的にしていました。しかし、そのドメインは実際に稼働しており利用されているものでした。そのサイトでフラグを取得するよう指示されたClaudeは、実際に攻撃を仕掛けてしまったのです。
Anthropicによれば、モデルが攻撃に用いたのは「脆弱なパスワードや未認証のエンドポイントを突くといった基本的な手法」のみだったといいます。「複雑な脆弱性を発見したり悪用したりすることは一切なく、いずれのケースでもClaudeは、自身の評価タスクとして割り当てられた特定のキャプチャー・ザ・フラッグ課題を達成することだけに取り組み続けていました」と、この企業は主張しています。
「これらの状況のいずれにおいても、Claudeが自らを外部に持ち出したり、意図的にテスト環境からの脱出を試みたりした事実はありません」とAnthropicは指摘しています。
とはいえ、Claudeは依然として恐るべき賢さを見せています。別の攻撃事例では、AIが開発者向けのセットアップ手順を見つけ、そこにはPyPIから特定のPythonパッケージをインストールするよう案内されていました。しかしそのパッケージは実在しなかったため、Claudeはフラグを取得する戦略として、該当する名前で悪意のあるパッケージを自ら作成・公開してしまいました。
「Claudeは、自らが利用しているパッケージレジストリをシミュレーションの一部だと考えていましたが、実際にはこのパッケージはおよそ1時間にわたりオンライン上で誰でも入手できる状態になっていました。その間に、このパッケージは15台の実在するシステムでダウンロードおよび実行されていました」とAnthropicは認めています。
Claudeは最終的に、行かないよう指示されていたにもかかわらずオープンなインターネットにアクセスできることに気づいたケースもありました。テストで使用されたAnthropicのモデルの中で最も旧型であるOpus 4.7は、それでも構わず処理を続けてしまいました。
「Mythos 5は自らがオープンなインターネットにアクセスしていることを正しく直感していましたが、それでもなお自分はシミュレーション内にいるのだという結論に理屈をこねて回帰してしまいました」とAnthropicは記しています。「私たちの最新モデルである社内研究用のテストモデルもまた、標的が実在するものかどうかを検討しました。そして、それが実在するという証拠が浮かび上がると、演習を中止しました」
Anthropicの投稿では、今後のテスト設計においてより慎重を期すこと、そして今回の攻撃を許してしまったようなミスを自社モデルが二度と犯さないようにすることを約束する、いつもながらの表明がなされています。
しかし同社は同時に、自社が販売しているモデルに組み込まれた安全対策は「今回確認された挙動を阻止していたはずだ」と主張し、いわば自らに免罪符を与えてもいます。
「私たちは、これらの事例はモデルのアラインメント上の失敗というより、ハーネスおよび運用上の失敗に近いものだと考えています」と投稿には記されており、この見解はOpenAIの事例に対するより厳しい評価と対比する形で示されています。「私たちのモデルは、インターネットアクセスはないものとしてフラグを取得するよう指示されていましたが、実際には設定ミスによりインターネットアクセスが可能な状態になっていました。このため、モデルは自らが遭遇した実環境をシミュレーションだと――ある意味では合理的に――信じ込んでしまったのです」
「評価用インフラをめぐるより厳格な監視と管理、さらにアラインメントへの継続的な投資により、この種のリスクは克服できるはずだと、私たちは慎重ながらも楽観視しています」と投稿は締めくくられています。
これにより、世界有数のAI研究機関の一つが、テストの構築において不注意な対応を取り、実害を引き起こしたことを認めつつも、今後のテストは完璧なものにできると主張するという、なんとも言えない結果が残された形です。®
