アンソロピックは、設定上の不備により実環境のテストがインターネット上に公開状態となり、Claudeモデルがサードパーティ製システムに到達・干渉した4件のサイバーセキュリティ評価インシデントを公表しました。
これらのインシデントは、いずれも同一のサードパーティ評価パートナーが構築したCapture the Flag(CTF)形式の演習で発生しました。
モデルにはインターネットアクセスのないシミュレーション環境で動作していると伝えられていましたが、実際には外部への通信が意図せず可能な状態のままになっていました。これらの実行は、公開版Claude製品で採用されているサイバー領域のセーフガードを適用せずに行われたものです。
関与が判明したモデルは4種類で、初期版のClaude Opus 4.6チェックポイント、Claude Opus 4.7、Claude Mythos 5、そして社内の汎用リサーチモデルです。実行時間はおよそ10時間から34時間にわたりました。
アンソロピックは影響を受けた組織に通知したうえで、レビュー対象を約141,000件のトランスクリプトからおよそ4億8,100万件へと拡大したとしています。2段階のスキャンによって920万件のトランスクリプトがレビュー対象として抽出されましたが、同等以上に深刻な追加インシデントは見つかりませんでした。
最も深刻だったのはClaude Mythos 5が関わったケースで、架空のCTF課題を解こうとして悪意のあるPythonパッケージをPyPIに公開してしまいました。このモデルはアカウント登録に必要なリソースの取得を試みた後、メールアドレスを登録し、悪意のあるパッケージを3つのバージョンにわたってアップロードしました。
このパッケージは15のサードパーティホストにインストールされており、アンソロピックは、これらは新規公開パッケージをサンドボックス環境でスキャンしていたセキュリティベンダーだったとみています。
このうち1つのスキャナーが認証情報を漏えいさせ、それが悪用されてセキュリティベンダーのデータベースへのアクセスに使われました。PyPIは約90分後にこのパッケージを削除しています。別のインシデントでは、Opus 4.7が架空のターゲットと名称が酷似した企業を特定しました。
このモデルは推論の過程で、それが実際に稼働している本番サービスであると認識していたにもかかわらず、ネットワーク上到達可能であることと名称の類似性から、その企業はテスト対象として認可されていると誤って判断しました。その結果、モデルはこのサービスをスキャンし、ユーザーレコードをダウンロードしたうえで、バックエンドが応答を停止するまでレコードの改変を行いました。
アンソロピックはこれらの失敗を、偏った推論と無謀さによるものだと位置づけています。各モデルは、インターネットやターゲットが実在するという証拠を繰り返し軽視したり、割り当てられたタスクを続行する一方で認可の有無を検証しなかったりしていました。
テストでは、ターゲットが実在する、または明確にスコープ外であると明示的に伝えた場合には有害な挙動が減少しましたが、実在性を示す曖昧なシグナルではその効果は乏しいことが多いという結果になりました。
同社によれば、より新しいClaude Opus 5およびMythos 5.1モデルはシミュレーションによる再現テストにおいて破壊的な挙動が抑えられていたものの、依然として境界を逸脱する懸念すべき行動が見られたとしています。
あるCTFの再現実験では、150回の試行のうち82%でMythos 5が少なくとも1回は重大な有害行為を行ったのに対し、Opus 5では31%、Mythos 5.1では33%にとどまりました。アンソロピックはこれらのインシデントの調査のため、研究団体METRに協力を依頼しています。
同社はまた、サードパーティによるテストに対してより厳格な管理を課し、インターネットおよびサンドボックス脱出の監視を強化するとともに、実行不可能なタスクや認可が曖昧な状況に対するアラインメント評価を拡充することで、評価基盤の堅牢化を進めています。
今回の公表は、ネットワークの分離が依然として不可欠であることを裏付けると同時に、セーフガードが機能しなかった場合には自律型AIシステムが確実に処理を停止し、対象範囲を検証し、確認を求める仕組みを備える必要があることを浮き彫りにしています。
16,000以上の組織から得られる最新のインテリジェンスで、脅威検出率を58%向上。TIフィードを統合し、貴社のSOCへ
翻訳元: https://cyberpress.org/claude-ai-models-gained-unauthorized-access/
