Anthropic は月曜日、アクセス制限付きAIモデルの最新版「Claude Mythos 5.2」を公開しました。Mozillaによると、Firefoxを対象にした脆弱性の発見件数は、Mythos 5.1のおよそ2倍に達したということです。
Mythos 5.2と同時に公開された「Claude Fable 5.2」は、同じ基盤モデルを共有しています。違いはガードレール（安全対策）にあります。誰でも利用できるFableにはサイバーセキュリティや生物学の悪用を防ぐ保護機能が備わっていますが、Mythosではその一部が外されています。
Mythosを直接利用できるのは、審査を通過した組織に限られます。申請はAnthropicの「Cyber Verification Program」または「Life Sciences Verification Program」を通じて行います。
Mozillaのディスティングィッシュト・エンジニア、ブライアン・グリンステッド（Brian Grinstead）氏は次のように述べています。「私たちは今年一年、Anthropicのチームと緊密に連携し、世代を重ねるClaudeモデルでFirefoxの堅牢化を進めてきました。回を追うごとに、見つかるバグは少なく、より見つけにくいものになっています。それでもMythos 5.2は、それぞれのスキャンキャンペーンにおいて、Mythos 5.1の約2倍の脆弱性発見指標を記録しました」
Anthropicは社内で、「CVE Rediscovery」という指標を使って進捗を測定しています。これは、既知のCVEが修正される前のプロジェクトのコードをモデルに与え、支援なしで脆弱性を見抜けるかを確認するものです。
1,829件のCVEを対象にした10月の試験では、Mythos 5.2の成功率は89.6%でした。Mythos 5.1は78.3%、保護機能なしでテストしたOpus 5.5は81.3%でした。
Anthropicは、テスト参加者による結果も紹介しました。あるセキュリティ企業では、Mythos 5.2が見つけて確認されたバグのうち6件に1件が、同社が使用した他のあらゆる最先端モデルに見逃されていたといいます。
ただしAnthropicは脚注で、「当社の評価では、脆弱性の特定能力はOpus 5.5とほぼ同等です」と記しています。
Cyber Verification Programに参加していないClaude Enterpriseの顧客にも、最新のMythosを利用する手段があります。Anthropicのコード脆弱性スキャナー「Claude Security」が、他のモデルとともにMythos 5.2を使うようになりました。
Fable 5.2では、分類器がペネトレーションテストやエクスプロイトの生成など、リスクの高いサイバー関連タスクを停止します。その場合、ユーザーにはOpus 4.8による応答が返されます。
Anthropicによると、これらの保護機能はFable 5.1と同等の堅牢性を保ちつつ、正当な作業で作動する頻度は減っています。初期テストでは、Fable 5.1と比べてサイバーセキュリティ関連のブロックが約60%減少しました。
同社は、モデルが封じ込めを破る可能性についても、1,800以上のシナリオを使った実験で検証しました。サンドボックスには意図的に欠陥が仕込まれており、ほとんどのタスクは、そこから脱出しなければ完了できない設計でした。
Mythos 5.2が、Anthropicがサンドボックスの外に置いていた認証情報やファイルを利用したのは、全シナリオの3.1%でした。Mythos 5.1の21%、Mythos 5の39%から大きく低下し、Opus 5.5の3.3%に近い水準です。
