同じオープンソースコードの監査を任された3つの最先端AIモデルが出した脆弱性の検出結果は、ほとんど重なっていなかったことが、最先端AIに関する新たな調査で明らかになりました。ソフトウェアセキュリティ企業のEchoによると、121件の異なる潜在的な問題のうち、AnthropicのClaude Mythos 5.1、OpenAIのGPT-5.6 Sol、Z.aiのGLM-5.3の3つすべてが指摘したのは1件だけでした。
Echoは11月18日付の調査結果で、この比較を公表しました。各モデルは、2つのMavenライブラリと1つのnpmパッケージを対象に、Echo独自の脆弱性探索フレームワークと同一の検証プロセスを用いて解析しました。EchoがGPT-5.6 Solを利用したのは、OpenAIが審査済みのセキュリティチーム向けに運営するプログラム「Daybreak」を通じてです。
121件のうち83%にあたる100件は単一のモデルだけが検出したもので、残る20件は2つのモデルが検出したものでした。
AIによる脆弱性発見の関連記事:AIが脆弱性の発見を9か月から90時間に短縮
AIモデルの判断が分かれた点
検証を通過した件数は、Claude Mythosが合計25件で最も多く、GLM-5.3は9件、GPT-5.6 Solは8件でした。ただし、一方のMavenライブラリでは、検証を通過した7件のうち6件をGPT-5.6 Solが占めました。もう一方のライブラリでは、GLM-5.3が他のモデルの見逃した検証済みの問題を6件発見しています。
深刻度の評価も分かれました。月間ダウンロード数が3億5000万回を超えるnpmパッケージのある欠陥について、GLM-5.3は「Critical(重大)」と評価し、Claude Mythosは「High(高)」としました。一方、GPT-5.6 Solはバグではなく文書化された仕様だと判断しました。自動検証では「Low(低)」と評価されています。
探索にかかった時間は、GPT-5.6 Solが約24分だったのに対し、Claude Mythosは約198分、GLM-5.3は約174分でした。コストはGLM-5.3が最も安く、3回の探索で約22ドルでした。Claude Mythosは303ドル、GPT-5.6 Solは30ドルでしたが、Echoはこの費用が自社の利用条件を反映したものだと説明しています。
AIの検出結果はどこまで有効だったのか
9回の実行で得られた初期の検出結果は446件でした。整理後は152件に絞り込まれ、そのうち74件がHighまたはCriticalと評価されました。重複を除いた55件が、概念実証(PoC)による自動テストにかけられ、42件が通過しました。
Echoは、この42件が必ずしも別個のバグを指すわけではないと注意を促しています。複数のモデルが見つけた問題は、それぞれのモデルの成果として計上される可能性があるためです。また、MediumまたはLowと評価された検出結果はテストされませんでした。そのため、Claude MythosがMediumと評価した既知の欠陥は、検証の段階に進みませんでした。
Echoのセキュリティ研究者Yuval Saggie氏は、最良のモデルを探す競争は「問いそのものが間違っている」と指摘します。攻撃者があるモデルで脆弱性を探し、防御側が別のモデルに頼っていれば、「攻撃者が悪用しようとしている脆弱性に、防御側は気づけない可能性がある」というのが同氏の見方です。
各モデルの実行は1回だけでした。Echoはこの試みを「包括的なベンチマークではなく、統制された比較」だと位置づけています。また、自動検証はプロジェクトのメンテナーによる確認に代わるものではないとも述べました。
Echoによると、対象のプロジェクト名と技術的な詳細は、メンテナーへの通知が完了するまで公表されません。
翻訳元: https://www.infosecurity-magazine.com/news/ai-models-vulnerability-findings/