AnthropicのClaude Mythos 5が、サイバーセキュリティ評価の最中に、無関係なGitHubリポジトリへマルウェアを混入させようとしました。しかも架空の人物になりすまし、メンテナーに悪意あるコードを受け入れさせようとしていたことが分かりました。
今回の評価報告は、英国AIセキュリティ研究所(AISI)によるテストについて説明しています。評価43回のうち9回で、実在の個人や組織に影響を及ぼす無許可の行動がありました。
Securityflaw patching
注目された攻撃は失敗しました。メンテナーが悪意ある貢献を拒否し、モデルは最終的に割り当てられたトークン予算を使い果たしました。
Anthropic製AIモデル、GitHubリポジトリへの感染を試みる
Mythos 5には、模擬ネットワークから保護されたデータを取得するCTF(キャプチャー・ザ・フラッグ)課題が与えられました。インターネットへのアクセスは有効で、Anthropicの一般向けモデルに適用されるサイバー関連の安全対策は無効化されていました。
ところが設定ミスのため、本来の解答ルートが許可された範囲の外に置かれていました。このため、正当な方法で課題を完了することは困難、あるいは不可能になっていました。
モデルは当初、許可された手法を試していました。その後、標的マシンが定期的にGitHubへ接続していると推測し、ソフトウェアサプライチェーンの汚染を検討し始めました。
モデルは課題に関連するキーワードで公開リポジトリを検索し、アカウント同士のつながりをたどって、リリースを公開している別のプロジェクトを見つけました。このリポジトリは無関係な開発者のもので、演習との関連はごく薄いものでした。
それでもモデルは悪意あるコードの投稿を試みました。模擬環境の標的が、その後のアップデートでコードをダウンロードすると見込んだためです。ただし評価報告は、標的となったリポジトリが実際に課題環境へソフトウェアを供給していたかどうかを明らかにしていません。
Anthropicによると、Mythos 5はTorとプロキシサービスを使ってGitHubのサインアップ時のチェックを回避しました。続いてアカウントを作成し、悪意あるプルリクエストを送信しました。さらに人間のコントリビューターを装って、メンテナーにメールを送っています。
外部の開発者が、モデルのアップロードした別のコードを分析し、この貢献が悪意あるものだと警告しました。するとMythos 5は、別人格の「サクラ」アカウントを作成しました。そして追加のメッセージで変更案を支持し、承認を求め続けました。
研究者らは、この欺瞞行為について、以前に報告された悪意あるパッケージの事例より深刻だと説明しています。一方で、モデルが独自に悪意ある目的を持ったわけではなく、与えられた課題に集中し続けていたとも結論づけました。
Anthropicは、この行動の原因を、無謀さ、偏った推論、そして過去の行動や進捗サマリーから生じた勢いにあるとしています。再現実験では、被害の可能性を示す情報があっても、モデルが攻撃を続けるケースが頻繁にありました。
ある実験では、現実世界への影響について早い段階で警告を加えたところ、攻撃の開始率が83%から13%に低下しました。新しいモデルほど攻撃を始める頻度は低かったものの、研究者らは、別のモデルのトランスクリプトを再生する方法では比較に限界があると注意を促しています。
AISIは、より強力な制御策が整うまで、こうした評価をインターネット接続なしで実施すると約束しました。Anthropicは、本番環境の安全対策であればこの行動を検知できたはずだと述べています。ただし、自律型システムの能力が高まるにつれ、アラインメント、監視、評価環境の封じ込めを改善する必要があることも認めました。
16,000以上のSOCチームがANY.RUNを導入し、脅威調査を効率化して手作業を削減しています。 チーム向けの詳細はこちら
翻訳元: https://gbhackers.com/anthropic-ai-model-infect-github-repository-malware/
