国家支援の脅威アクターやサイバー犯罪者が、基盤AIモデルを攻撃作戦に活用する手口をますます高度化させています。米政府はその状況を深刻に受け止め、Anthropicの最新モデルへの外国人のアクセスを禁止する措置に踏み切ったと報じられています。
金曜日、Anthropicは最新モデル「Fable 5」へのアクセス提供を停止したと発表しました。Fable 5は3日前にリリースされたばかりでしたが、米政府が国家安全保障上の命令を発し、同社従業員も含む外国人のモデルへのアクセスを禁じるよう求めたためです。この命令はまた、数百社が以前はアクセスできていたAnthropicの「Mythos 5」モデルへのアクセスも制限するよう義務付けています。
この禁止措置は、Anthropicが調査報告を公表してから2週間も経たないうちに実施されました。同報告では、攻撃者がAnthropicのAIサービスを悪用してマルウェアの作成、脆弱性の発見、サイバー攻撃チェーンの自動化をますます行っていると指摘されていました。
「Claude Mythos Previewは、フロンティアAIのサイバー能力がどこへ向かっているかを示しています——最高水準の人間の研究者に匹敵するレベルで脆弱性を発見・悪用できるモデルです。一方で[我々の研究は]、脅威アクターが今日、一般に利用可能なモデルをいかに悪用しているかを明らかにしています」と、3名の研究者は調査報告書の中で述べています。
最新AIモデルが脆弱性研究やエクスプロイト開発に与える潜在的な影響への懸念が、最新AIモデルのリリースに暗い影を落としています。4月下旬には、英国政府の科学・技術・革新省の研究機関であるAIセキュリティ研究所(AISI)が、AnthropicのMythosがエンドツーエンドの攻撃チェーンを実行できることを確認しました。
また、この研究はAnthropicだけが問題ではないことも明らかにしました。OpenAIの最新モデルGPT-5.5は、実務者レベルおよびエキスパートレベルの両方の攻撃チェーンタスクでMythosを上回っています。さらにGPT-5.5は、1億トークンのバジェットを使った32ステップの企業ネットワーク攻撃シミュレーションを完了した2番目のモデル——Mythosに次ぐ——となりました。Mythosは10回中3回成功したのに対し、GPT-5.5は10回中2回成功しています。

AnthropicのMythosだけが問題ではない——OpenAIのGPT-5.5は複雑な攻撃でより高いスコアを記録。出典:AISI(ハイライトは筆者による)
AIによるキルチェーン全段階への関与
サイバー攻撃グループはこうしたベンチマークテストの結果を現実の攻撃で再現しようとしており、基盤AIモデルを開発するほぼすべての主要企業が、自社モデルの悪用状況に関するレポートを公表しています。2月には、OpenAIが検出・ブロックした多数のサイバー作戦について報告しました。その中には、中国やロシアに関連するサイバースパイ活動や国家支援キャンペーン、カンボジアのサイバー犯罪ネットワークに関連するロマンス詐欺なども含まれていました。
5月には、GoogleがAIを使った自律的なマルウェア作戦の証拠を報告しました。また、同社のGoogle脅威インテリジェンスグループ(GTIG)がAIを使って開発されたと判断したゼロデイエクスプロイトや、AIを防御回避に利用する試みについても明らかにしました。
GTIGの副主任アナリストであるルーク・マクナマラ氏によると、攻撃者は巧みなフィッシングメールの作成にとどまらず、AIをより効果的に活用する方法を模索しているといいます。
「最もよく見られるユースケースは今もリサーチやコードのトラブルシューティングといった類のものですが、脆弱性の発見やエクスプロイト生成といった、より高度なAI活用も見え始めています。脅威アクターが攻撃ライフサイクルのほぼあらゆる段階でAIを使用していることが確認されています」と同氏は述べています。
オフェンシブサイバーセキュリティサービス企業Bishop FoxのCEO兼共同創業者であるヴィニー・リュー氏によると、モデル自体も重要ですが、エキスパートレベルの自動化された攻撃チェーンを凡庸な攻撃自動化と本質的に差別化するのは、モデルを取り巻くスキャフォールディング(「ハーネス」)——Anthropicがいうところのコード、アーキテクチャ、AIモデル周辺のツール群——だといいます。最高のハーネスには、ルールを徹底させるための多様なテスト、品質チェック、追加エージェントが含まれると同氏は述べています。
リュー氏は、AIモデルに適切なハーネスが備わっていない場合の弊害として、AI生成のスパム報告(AIスロップ)の急増を受けてcurlプロジェクトがバグバウンティを廃止した事例を挙げました。その6ヶ月前には、AIを活用した適切に設定されたコード解析ツールが40件以上の問題を発見しており、curlのメンテナーであるダニエル・スタンバーグ氏がソーシャルメディアプラットフォームMastodonに「ほとんどは小さなバグですが、それでもバグであり、実際のセキュリティ上の欠陥が1〜2件含まれている可能性もあります。本当に素晴らしい発見です」と投稿していました。
「危険なオペレーターとうるさいだけのオペレーターを分けるのはスキャフォールディングです……そして特に強力なモデルを使う場合は、それを誠実かつ適切な範囲内に収めるオペレーターの存在が重要です。モデルはハンドルのないエンジンのようなもので、スキャフォールディングとオペレーターこそが舵を取るのです」と同氏は述べています。
完全に自動化された攻撃——いわゆる「AIワーム」——は、最大のリスクをもたらす可能性があります。
攻撃者のTTPへのAI統合
AIモデルの悪用拡大は、AI駆動の攻撃を、サイバー攻撃者や研究者が一般的に使用する攻撃手法の分類フレームワーク——すなわち戦術・技術・手順(TTP)——にどう位置付けるかという課題も浮き彫りにしています。
Anthropicは悪意ある活動を理由にBanされた832アカウントのテレメトリを使用し、その活動をMITRE ATT&CKフレームワークにマッピングした上で、同社が「AIリスクイネーブルメントスコア(ARiES)」と呼ぶ指標を使って脅威アクターにリスクスコアを割り当てました。ARiESは「脅威アクターのプロファイル、要求された危害に対するモデルの貢献度、観測されたまたは潜在的な影響という3つのシグナルから構築された複合スコア」であると同社は報告書の中で述べています。この調査結果は、攻撃者が主にマルウェア作成と難読化にAIを活用していることを示す一方、攻撃者のAIスキャフォールディングの品質を測定する実質的な方法がないことも明らかにしました。

Anthropicのレポートは、GTG-1002として追跡されているキャンペーンを詳述しています。このキャンペーンでは、脅威アクターが複数の国の政府機関および重要インフラ組織に侵入しました。この脅威アクターは、Claudeを単なるアドバイザーではなく「自律的なオペレーター」として使用するスキャフォールディングを開発することで、最高リスクスコアの100を達成したと報告書は述べています。
しかし、13の戦術にわたる30のテクニックを含む脅威アクターのMITREプロファイルは、この攻撃者が中リスクに過ぎないことを示唆していました。
「最も危険なアクターは今や、攻撃を可能にするツールを単に構築するだけでなく、AIを使って攻撃をオーケストレートしています。しかし、脅威調査員が脅威の追跡に使用するフレームワークはまだそれに追いついていません」と研究者たちは述べています。
MITREでフレームワークを統括するアダム・ペニントン氏によると、この課題にはすでに取り組んでおり、AIモデル開発者やサイバーセキュリティコミュニティと連携して、AI時代におけるATT&CKフレームワークの改善方法を検討しているといいます。
「我々は常にATT&CKを進化させ、現状や敵対者の最新の行動に対応できるよう取り組んでいます。AIも例外ではありません。攻撃者が行っている行動を追跡しながら、防御者にとっても最善を尽くす方法を探っています」と同氏は述べています。
真の懸念か、標的を絞った規制か
ペネトレーションテスト企業CobaltのCTOであるグンター・オルマン氏によると、適切にハーネスされたAIを使用するサイバー攻撃者は、脆弱性の調査、ネットワーク内での横移動の機会探索、データ窃取をすべて並行して実施できるようになるため、速度が最大のメリットの一つになるといいます。
「バグの可能性を発見してから実際に悪用できるようになるまでの時間は大幅に短縮され、一方で攻撃者に求められるスキルセットのハードルは下がっています。そのため、実際にこうした攻撃を実行する能力を持つ人間の数が増えているのです」と同氏は述べています。
脅威アクターによるAIサービスの実証済みの活用と、攻撃者が防御者を上回るリスクを受け、政府は行動に踏み切りました。6月初旬、トランプ大統領はリリースの30日前にフロンティアAIモデルの自主的なテストを求める大統領令を発令しました。AnthropicはEUのセキュリティ上の懸念を満たすため、欧州連合(EU)への最新モデルへのアクセス提供も視野に入れているようです。
しかし、トランプ政権の焦点は主にAnthropicに絞られているようです。例えば2月、米国防総省はAnthropicがこの技術の軍事利用を制限しようとしたことを受け、同社を「サプライチェーンリスク」と指定しました。Anthropicは、Fable 5とMythos 5へのすべてのアクセスを遮断することで政府の最新の法的指令に従うと利用者に通知する声明の中で、政権が自社技術のみを標的にしていることへの異議を表明しました。
「この基準が業界全体に適用されれば、すべてのフロンティアモデルプロバイダーによる新モデルのデプロイが事実上停止されることになると考えます」とAnthropicは述べています。「我々が公に述べてきたように、政府は透明で公正かつ明確で技術的事実に基づく法的プロセスの一環として、安全でないデプロイをブロックする権限を持つべきであると考えます。今回の措置はそれらの原則に則っていません。」
翻訳元: https://www.darkreading.com/cyber-risk/us-cracks-down-anthropic-ai-models-abuse-concerns