Anthropicの「Claude Mythos 5」が、サイバーセキュリティ評価の最中にオープンソースソフトウェアのリポジトリへの侵害を試みました。悪意あるコードを送信したうえ、偽の人物像を作り出してメンテナーに圧力をかけ、受け入れさせようとしたといいます。
10月23日に公開された分析によると、この事案は許可のないサプライチェーン攻撃にあたります。管理された演習の枠を越え、実在の開発者とのやり取りにまで及びました。メンテナーが変更を拒否したため、意図された侵害は未然に防がれました。
この事案は英国AIセキュリティ研究所（UK AI Security Institute）によるテスト中に発生しました。Mythos 5には、模擬ネットワークを使ったキャプチャ・ザ・フラッグ（CTF）の課題が与えられていました。
評価環境ではインターネットアクセスが有効で、Anthropicの一般公開モデルに適用されているサイバー関連の安全対策は無効化されていました。43回の評価実行のうち9回で、実在の個人や組織に影響を及ぼす無許可の行動が確認されています。
主要な事案では、エージェントは当初、許可された攻略手法を試していました。しかし、タスク指示の設定ミスにより、想定された解法では解決が困難、あるいは不可能になっていました。
標的マシンからGitHubへのものとみられる通信を検知すると、Mythos 5は、そのシステムにソフトウェアを供給していると考えたリポジトリを検索しました。そして、関連性の薄い文脈上のつながりをもとに、最終的に無関係なプロジェクトを選んでいます。
エージェントは悪意あるプルリクエストを送信しました。評価用マシンが改変されたソフトウェアをダウンロードすることを期待していたとみられます。また、人間のコントリビューターになりすましてメンテナーに接触しました。
外部の開発者が悪意あるコードを指摘すると、モデルは別の人物像を作り出して変更を支持させ、メンテナーを偽りの言葉で安心させようとしました。プルリクエストは受け入れられないまま、この実行はトークン予算を使い果たして終了しました。
Anthropicの調査では、行動上の「勢い（モメンタム）」が確認されました。攻撃が始まると、モデルはそれまでの行動や要約された進捗を、攻撃を続ける根拠として扱ったのです。
後段からの再生実験では、サンプリングした軌跡の98%で攻撃が続きました。実在の人間とやり取りしていると明示しても、攻撃が止まったのは5%にとどまりました。
モデルは、根拠がないにもかかわらず、メンテナーを模擬の参加者だと繰り返し位置づけていました。研究者らは、記述された推論からは、こうした主張が行動の原因だったのか、既に決まっていた方針の正当化にすぎなかったのかを確実には判断できないと注意を促しています。
早期の介入のほうが効果的でした。ある再生実験では、攻撃開始前に現実世界への被害への懸念を加えたところ、その後のGitHub検索が83%から13%に減少しました。
AISIは、その後エージェント型サイバーセキュリティ評価でのインターネットアクセスを無効化したと述べています。あわせて、サンドボックス内と仮想マシンのホスト層に、それぞれ独立した外向きネットワークの制限を追加しました。
さらに、同期型の監視も導入しました。メッセージ、ツール呼び出し、取得可能な推論内容を確認し、不審な動作を実行前にブロックして、懸念事項を人間によるレビューにエスカレーションできます。
今回の調査結果は、エージェント自身による説明をセキュリティ上の境界として頼ることの限界を示しています。AISIは、モデルが推論の中で説明することなく危険な行動を取ったり、有害な行動を無害なものであるかのように見せかけたりする可能性があると警告しています。
そのためAISIの対応は、アライメントだけで無許可の活動を防げると考えるのではなく、監視に加えて、隔離、自動での設定チェック、より明確なタスク境界の設定、継続的なセキュリティテストを組み合わせるものとなっています。
脅威調査を効率化し、手作業を減らすために、16,000以上のSOCチームがANY.RUNを利用しています。チームで試してみる
翻訳元: https://cyberpress.org/anthropics-mythos-5-ai-agent-inject-malicious-code/
