SentinelOneは、最近文書化されたFast16マルウェアに対する自社の調査を題材として、最先端AIモデル向けとしては初となる長時間軸のリバースエンジニアリング・ベンチマークを構築したと発表しました。
Fast16は、SentinelOne傘下のSentinelLabsが4月に詳細を公表したマルウェアで、イランが核兵器開発計画の一環で使用していたとみられるエンジニアリングソフトウェア「LS-DYNA」を妨害する目的で2005年に作られたWindows向けマルウェアです。
Fast16は、時期的にはこれより後に登場した悪名高いStuxnetと類似しており、米国が開発しイランの核開発計画を妨害するために使用した可能性があります。
SentinelLabsの研究者たちは、OpenAIのGPT-5.5と最新のGPT-5.6 Solモデル、Z.aiのGLM-5.2、そしてAnthropicのOpus 4.xを対象に、Fast16マルウェアの徹底的な調査をどのモデルが遂行できるかをテストしました。
個別タスクごとにモデルを採点するのではなく、SentinelLabsのベンチマークは、新たな証拠が自らの以前の結論と繰り返し矛盾する中で、モデルが8段階にわたる調査を通じて信頼性を維持できるかどうかを追跡します。
GPT-5.6 Solは、推論負荷の設定を変えた3回の別々の実行すべてで、8段階全てを完遂した唯一のモデルでした。
GPT-5.5、GLM-5.2、そしてOpus 4.7および4.8は、局所的な分析としては堅実な結果を出したものの、途中で行き詰まりました。GPT-5.5は最初の段階を超えることができず、Opusモデル群は不具合が解消されないうちに作業完了を宣言する傾向が見られました。
SentinelLabsは、この差が技術的なスキルや洞察力によるものではなく、同社が「プロジェクト規模の回復力」と呼ぶ能力によるものだと分析しています。これは、否定された結論を撤回し、それに依存していた下流の全ての内容をたどり、根本原因を修正した上で、その修正を調査の残り全体に反映させる能力を指し、単に目先の誤りを取り繕うだけの対応とは異なります。
SentinelLabsの研究者たちは、GPT-5.6 Solでさえ重大な技術的誤りを犯したことから、人間による監督は依然として不可欠であるとの結論に至りました。
「熟練したリバースエンジニアの存在は依然として欠かせません」と研究者たちは説明しています。「最も優れた実行結果においてさえ、意味論的な誤りが生じたほか、品質管理の甘さが許容されたり、時期尚早に完了が宣言されたりする場面がありました。現時点における最良の活用法は、人間の分析者が調査目標を設定し、見落としを洗い出し、最終的な公表権限を保持した上での、監督下にある調査エージェントとしての運用だと評価しています」
翻訳元: https://www.securityweek.com/nuclear-sabotage-malware-benchmark-trips-up-most-frontier-ai-models/
