出典：Aleksei Gorodenkov（Alamy Stock Photo経由）
まもなくリリースされるセキュリティ回避ツールは、レッドチームやハッカーがMicrosoft Defender for Endpointを一貫して回避するのに役立ちます。
2023年11月以降、悲観論者たちは、大規模言語モデル（LLM）がハッカーによるマルウェアの開発をより迅速かつ大規模に、そして人間が独自に設計できる範囲を超えた能力で支援する未来を予言してきました。しかし、その未来はまだ完全には実現していません。これまでのところ、ハッカーは人工知能（AI）を使って単純なマルウェアを生成したり、フィッシングコンテンツを作成したり、ターゲットリサーチのような補助的な作業を支援したりしています。
しかし、今年のラスベガスで開催されるBlack Hatカンファレンスで、Outflankのプリンシパル・オフェンシブ・スペシャリストリードであるKyle Avery氏が、まさに多くの人が懸念していたものに近いプログラムを初公開します。それは、Microsoftの主力エンドポイント検出・応答（EDR）ソフトウェアを無力化するために構築された軽量モデルです。
トリック：強化学習
Avery氏は、彼のプロジェクトのインスピレーションとなったAI開発における重要な「転換点」が年明け頃にあったと述べています。
今日最も人気のあるLLMは、主に教師なし環境でトレーニングされています。開発者はモデルに膨大な量の幅広いデータを与え、簡単に言えば、モデル自身がそこから推論や関連付けを行います。
しかし昨年12月、OpenAIは従来のGPTモデルとは異なるo1をリリースしました。Avery氏によれば、「GPT 3.5から4に移行したとき、4はすべてにおいて3.5より優れていました。しかしo1は、特に数学やコーディングなどで強みがある一方、例えば文章作成では劣っていました。そして、その理由について多くは明かされませんでした。」
それは欠陥ではなく、むしろ設計上の選択でした。o1が何故異なっていたのかは、1か月後（OpenAI自身の意思ではなく）DeepSeekによるモデルR1のリリースで明らかになりました。R1はo1に似ており、オープンソース（OSS）で、技術論文でその作成方法が詳述されていました。
そのカギは、検証可能な報酬を用いた強化学習（RL）でした。開発者は、モデルに大量の予測をさせ、それが自動的に検証・却下できるようにすることで、特定のタスクに特化させてトレーニングしていました。これが、正解・不正解が明確な数学のようなタスクでなぜ圧倒的に優れているのか、そして文章作成のような主観的なタスクではそうでない理由を説明しています。
これにより、AIモデルが特定分野や特定タスク、例えばセキュリティソフトの回避などに特化してトレーニングできるという新たな可能性が生まれました。
LLMマルウェアの作り方
理論的には、トレーニングデータの入手は悪意あるAI開発において常に大きな障壁となってきました。今日の人気LLMは数十テラバイトの文献やインターネットデータなどを基盤としています。しかし、世の中に存在するマルウェアは限られており、1人のハッカーが入手できるのはごく一部であり、一貫性と効果のある自律的なマルウェア開発のためのモデルをトレーニングするには十分ではありません。
しかし、Avery氏によれば、RLはこの要件を完全に排除します。
Avery氏は、汎用のオープンソースモデル「Qwen 2.5」をMicrosoft Defender for Endpointとともにサンドボックス内に配置し、モデルが回避ツールの出力にどれだけ近づいたかを評価するプログラムを書きました。
「これは最初からできるわけではありません」と彼は説明します。「千回に一度くらい、運良く機能するマルウェアを書けることがありますが、何も回避できません。そうした場合、機能するマルウェアには報酬を与えます。これを繰り返すことで、例を見せたからではなく、機能するマルウェアに至る思考プロセスをより起こしやすくなるように更新された結果、どんどん一貫して機能するものを作れるようになります。」
この時点で、モデルはマルウェアを作成できるようになりました。Microsoft Defenderの回避という特定目的に特化させるため、Avery氏はDefenderが生成するアラートを問い合わせて取得できるアプリケーションプログラミングインターフェース（API）を組み込みました。モデルは、より軽微なアラートを引き起こすマルウェアを書くように誘導されました。
結果：信頼性の高いEDR回避
最終的に、Avery氏のモデルはMicrosoft Defender for Endpointを完全に回避できるマルウェアを約8%の確率で生成できるようになりました。つまり、攻撃者がモデルに好きなだけ問い合わせれば、十数回ほどの試行で完全に回避可能なマルウェアを作り出せると合理的に期待できます。比較として、AnthropicのAIでは1%未満、DeepSeekでは0.5%未満の確率でした。
特筆すべきは、彼のプログラムはこれらのプログラムよりも桁違いに小さく、ハイエンドの一般消費者向けグラフィックカード上でも快適に動作することです。また、成功率8%でトレーニングを停止したのは任意の判断でした。その時点で「この傾向はまだ上昇し続けるようだった。最終的には頭打ちになるとは思うが」と彼は振り返ります。
約3か月間で、「これを作るのに1,500〜1,600ドルほど費やしましたが、そこまで大金ではありません。ですから、中期的にはかなりの確率で、そして長期的には特に、犯罪者がこのようなことを始める可能性が高いと思います」と彼は報告しています。
翻訳元: https://www.darkreading.com/endpoint-security/ai-malware-poc-evades-microsoft-defender