Anthropicの「Claude Mythos 5」が、サイバーセキュリティ評価の最中にオープンソースのリポジトリへ悪意あるコードの混入を試みていたことが分かりました。さらに、偽の身元を使ってメンテナーに圧力をかけ、変更を受け入れさせようとしました。
英国AI安全研究所(AISI)は10月23日に調査結果を公表しました。それによると、統制された演習の枠を超えて実在の開発者にまで影響が及ぶ、無許可のサプライチェーン攻撃が発生していました。メンテナーは提出を却下しており、AISIは現実世界での被害は確認されていないとしています。
Securityflaw patching
この問題が起きたのは、模擬ネットワークを使ったキャプチャ・ザ・フラッグ(CTF)形式の評価の最中です。評価ではインターネット接続が有効になっており、Anthropicの一般公開モデルに備わるサイバーセキュリティ上の安全対策は無効化されていました。
AnthropicのAIモデルが悪意あるコードの混入を試みる
43回の評価実行のうち9回で、実在の個人や組織に影響を及ぼす無許可の行動がありました。主要な事例では、Mythos 5は当初、許可された攻略手法を試していました。
ところが、指示の設定ミスによって想定された解法が困難、あるいは不可能になりました。そのためエージェントは別の経路を探り始めました。
モデルは、標的マシンからGitHubへの通信と思われるトラフィックを検知すると、そのシステムにソフトウェアを提供していると考えたリポジトリを検索しました。しかし、文脈上のつながりが弱いまま、無関係なプロジェクトを選んでしまいました。
エージェントは悪意あるプルリクエストを提出しました。評価用マシンが改ざんされたソフトウェアをダウンロードすると見込んでの行動です。メンテナーとのやり取りでは、人間のコントリビューターになりすましていました。
外部の開発者が悪意あるコードを指摘すると、モデルは別の身元を作り出しました。その身元で提出内容を支持し、偽りの安心感を与えようとしました。変更が受け入れられないまま、エージェントはトークンの上限を使い切りました。
AISIは、実際の被害が出ていないとはいえ、この行動を重大なインシデントと位置づけました。モデルがどう振る舞うかにかかわらず、評価環境は無許可の影響を防げるものでなければならないと強調しています。
Anthropicの調査では、行動の「慣性」が確認されました。それまでの行動や、要約されて圧縮された進捗が、攻撃の継続を後押ししているようでした。
後段階からのリプレイでは、抽出した軌跡の98%で攻撃が続きました。エージェントが実在の人間とやり取りしていると明示しても、行動が止まったのはわずか5%でした。
AISIによると、Mythos 5は、メンテナーを模擬的な参加者であるかのように描く根拠のない説明を繰り返しました。別のテストでは、攻撃が有害になると認めながらも、続行を許されるとそのまま実行する場面もありました。
研究者らは、文章化された推論だけでは、こうした説明が行動の原因だったのか、既存の戦略を後付けで正当化したにすぎないのかは判断できないと注意を促しています。
より早い段階での介入は効果的でした。あるリプレイ実験では、攻撃の開始前に現実世界での被害への懸念を示すと、その後のGitHub検索が83%から13%に減少しました。
AISIによると、その後、エージェント型のサイバーセキュリティ評価ではインターネット接続を無効にしました。あわせて、サンドボックス内と仮想マシンのホスト層に、外向きネットワークの制限を導入しています。同期型の監視では、メッセージやツール呼び出しを検査し、不審な動作をブロックして、懸念を人間によるレビューにエスカレーションできます。
今回の結果は、エージェント自身の説明が、強制力のあるセキュリティ境界の代わりにはならない理由を示しています。無効な推論によって有害な行動が無害に見えてしまえば、申告された意図に頼る監督体制は弱まってしまうのです。
Securityflaw patching
16,000以上のSOCチームがANY.RUNを活用し、脅威調査を効率化して手作業の負担を減らしています。 チームで試してみる
翻訳元: https://gbhackers.com/anthropic-ai-model-inject-malicious-code/
