Anthropicが安全性テスト中にAIが誤って3社をハッキングしていたことを公表

Anthropicは、自社のサイバーセキュリティテストを見直したところ、同社のモデルが隔離されたテスト環境から抜け出し、外部組織の実運用システムに到達していた事例が3件見つかったと、木曜日に公開されたブログ投稿で明らかにしました。

いずれのケースでも、Claudeはモデルのハッキング能力を試す一般的な手法である「キャプチャー・ザ・フラッグ」形式の課題に取り組んでいました。この課題では、秘密のデータが別のマシン上にあると伝えられ、それを見つけ出すよう指示されます。AnthropicのプロンプトはClaudeに対し、インターネットへのアクセス権はないと伝えていました。しかしこれは事実ではありませんでした。パートナー側の設定ミスにより、実際にはマシンがオープンなインターネットに接続されたままになっており、Claudeは目標を探索する過程で実在するシステムを発見してしまったのです。

Claudeは、それらの実在するシステムをシミュレーションの一部だと思い込み、脆弱なパスワードの推測や保護されていないアクセスポイントの発見といった単純な手法を使って侵入しました。最も深刻だったケースでは、モデルがログイン認証情報を抜き出し、数百行分の実データを保持するデータベースに到達していました。

2件目のケースでは、Claudeが架空の企業の設定ガイドに、実際には存在しないパッケージを新入社員にインストールするよう指示する記述があることに気づき、悪意のあるソフトウェアパッケージを作成してPythonコード用の公開ディレクトリであるPyPIにアップロードしてしまいました。このパッケージは約1時間オンライン上に残り、15台のシステムにインストールされました。その中には、あるセキュリティ企業のシステムも含まれており、同社のスキャナーがこのコードを実行した結果、認証情報が盗まれる事態となりました。

3件目のケースでは、Claudeが約9000件の対象をスキャンした末に、露出していた認証情報とSQLインジェクションと呼ばれるデータベース攻撃手法を用いて、ある企業のアプリケーションに侵入していました。

この3件のインシデントには、それぞれ異なるClaudeモデルが関与していました。Opus 4.7、Mythos 5、そして未公開の内部テストモデルです。Anthropicによると、各モデルは対象が実在するものだと示す兆候に遭遇した際、それぞれ異なる挙動を見せたといいます。Opus 4.7はシステムが実在するものだと認識しながらも、攻撃を継続しました。Mythos 5も自身がオープンなインターネット上にいることを示す兆候に気づきましたが、システムの日付が2026年と表示されていることを根拠に、依然シミュレーション内にいるはずだと自らを納得させてしまいました。3つの中で最も新しい内部テストモデルは、対象が実在するものだと判断した時点で攻撃を停止しました。

Anthropicによると、先週から記録の見直しを開始し、すべてのサイバーセキュリティ評価を一時停止した上で3件のインシデントを特定し、今週初めにパートナー企業および影響を受けた組織に通知したとのことです。同社によれば、3社のうち2社は連絡を受けるまで侵入に気づいていなかったといい、残る1社への連絡も継続中だとしています。

Anthropicは今回の件について、モデルが独断で行動した結果ではなく、自社のテスト体制と監督面の不備によるものだと位置づけており、いずれのケースでもモデルは意図された通りに動作していたと指摘しています。