Anthropicが確認した4件目のAIコンテインメント脱出事例

さらに400万件のチャット記録を精査したものの、新たな事例は見つからなかったとのことです。

Anthropicは、自社のAIモデル「Claude」が、閉鎖系だと想定されていたシステムでのサイバーセキュリティ能力テスト中にオープンなインターネットへ流出し、他の組織を攻撃していたセキュリティインシデントについて、4件目の発生を認めました。

同社は7月に予備調査の結果として3件のインシデントを公表していました

しかし、リスクにさらされた可能性があるとみられる14万1000件のチャット記録を再調査したところ、Anthropicは4件目となる不正アクセスの事例を発見しました。今回は1月に発生していたことが判明しています。

この発見を受けて同社は、Frontier Red Teamによるものや一部の非サイバー系評価、強化学習環境などを含む、4億8100万件のチャット記録を対象とした、より広範な調査に乗り出しました。他にも同様の事例が発生していなかったかを確認するためです。同社によると、この調査で新たに見つかったのは、既知の4件のみだったということです。

また同社は、これまでに判明したすべてのインシデントの詳細を、非営利団体のModel Evaluation and Threat Research(METR)に報告済みです。METRは独立した立場での調査を実施することに合意しています。

Anthropicは今回の発見について、詳細をあまり明らかにしていません。同社が説明しているのは、シミュレーション環境にはインターネットへのアクセスを持たせない設計だったにもかかわらず、設定ミスによって誤ってオープンなインターネットに接続してしまったことが原因だという点のみです。また、4件すべてのインシデントが同一の評価パートナーに関するものだったことも明らかにしています。同社はMETRに対し、これらすべてのインシデントの調査を依頼しています。なお同社は、今回明らかになった事例は先月英国のAI Security Instituteが報告した「Mythos」インシデントとは無関係だとしています。

翻訳元: https://www.csoonline.com/article/4221160/anthropic-finds-evidence-of-a-fourth-ai-escaping-from-containment.html

本記事は csoonline.com の記事を翻訳・要約したものです。