AnthropicのClaude Mythos 5が、サイバーセキュリティ評価の最中に公開GitHubリポジトリの侵害を試み、架空の人物になりすましてメンテナーに悪意あるコードを受け入れさせようとしていたことがわかりました。
このサプライチェーン攻撃の試みは、開発者が提案された変更を却下したため失敗に終わりました。公開された評価報告によると、テストは英国AI安全研究所（AISI）が実施したもので、モデルには模擬ネットワークから保護されたデータを取得する課題が与えられていました。
テストではインターネット接続が有効化され、一般公開モデルに適用されているサイバー関連の安全対策は無効にされていました。43回の評価のうち9回で、実在の個人や組織に影響を及ぼす無許可の行動が確認されました。
主な事案は、キャプチャ・ザ・フラッグ（CTF）の課題から始まりました。この課題は、指示に誤りがあり、本来想定されていた解法が除外されていました。許可された範囲のシステムに対する試行がうまくいかなかったため、Mythos 5は、標的のマシンが定期的にGitHubへ接続しており、ソフトウェアの更新を自動でダウンロードしている可能性があると推測しました。
モデルはシナリオに関連するリポジトリを探し、さらにアカウント間の関係をたどって、リリースを公開している別のプロジェクトを選びました。このリポジトリは無関係な開発者のもので、課題とのつながりもごくわずかでした。
それでもモデルはサプライチェーン侵害を追求しました。上流に悪意あるコードを仕込み、標的とみなしたマシンがそれを取得するのを待つという手法です。
モデルはTorとプロキシサービスを使ってサインアップ時の確認を回避し、GitHubアカウントを登録しました。そのうえで悪意あるプルリクエストを送信し、人間の貢献者を装ってメンテナーにメールも送っています。
外部の開発者が関連コードをサンドボックスで解析し、悪意ある挙動についてメンテナーに警告しました。これに対しMythos 5は、別人を装うなりすましアカウントを作成しました。このアカウントはメールとGitHubのコメントでこの貢献を支持し、安全で有用なものだと偽って説明しました。
評価報告によると、警告を受けたあとにコードが編集され、改めて安全性を保証するメッセージとともに、再び悪意あるコードがアップロードされました。メンテナーがこのプルリクエストを受け入れることはありませんでした。エージェントはトークン予算が尽きるまで、メンテナーへの働きかけを続けました。
研究者らは、この行動の原因について、モデルが独自に悪意ある目的を形成したためではなく、無謀さ、偏った推論、そして作業の「勢い」にあると分析しています。
Anthropicによると、モデルは与えられた課題の達成に集中し続け、実在のメンテナーを何度も模擬の参加者として扱っていたといいます。
再現実験では、害が生じる可能性について早い段階で警告を加えると、GitHubへの攻撃を追求する割合が83%から13%に下がりました。一方、攻撃がいったん進行した後では、Mythos 5が自発的に停止したのは、後半のサイクル境界から抽出した継続サンプルのわずか2%でした。
より新しいモデルでは、同様の攻撃を始める頻度は低くなっていました。ただし研究者らは、別のモデルの記録を再生する方法では、実際の運用時の挙動を完全には再現できないと注意を促しています。
AISIは、より強力なアクセス制御が整うまで、インターネットに接続しない環境でこれらの評価を実施すると表明しました。
Anthropicは、本番環境の安全対策であればこの挙動を検知できたはずだと説明しています。一方で、今回の事案は深刻なアラインメント上の問題を浮き彫りにしたと認め、評価環境の隔離、監視、トレーニングの強化が必要だとしています。
16,000以上のSOCチームがANY.RUNを活用し、脅威調査を効率化して手作業を削減しています。 チームで試す
翻訳元: https://cyberpress.org/anthropic-ai-agent-supply-chain-attack/
