LLMの暗号解読能力を測定する

AIの数学的暗号解読能力を測定する新しいベンチマークが登場しました。Anthropicのフロンティアモデルは、実際に新たな攻撃手法を発見しています。

そのベンチマークが「CryptanalysisBench: Can LLMs do Cryptanalysis?」です。狙いは、一連の歴史的アルゴリズムに対して新たな数学的暗号解読攻撃を発見するLLMの能力をベンチマーク化することにあります。

要旨: 暗号解読——暗号方式に対する攻撃手法を見つけ出す作業——は、数学的推論とサイバーセキュリティという、LLMが最も急速に進歩している2つの領域が交わる地点にあります。暗号解読は、実践的な攻撃を自動的に検証できることから、フロンティアの推論能力を測る格好の試験場であると同時に、研究対象となるプリミティブが私たちのデジタルセキュリティの土台をなしているという点で、異例なほど高い利害が伴う領域でもあります。本論文では、LLMが暗号解読を行えるかどうかを問い、その答えはますます「イエス」になりつつあることを明らかにします。私たちはCryptanalysisBenchを導入します。これは、主に4つのNIST標準化コンペティションから抽出した、6つのファミリーの暗号プリミティブ(ブロック暗号、ハッシュ関数など)にまたがる191のタスクで構成されています。このベンチマークは3つの階層から成ります。(i)実用的な破られ方が既知のプリミティブ、(ii)実用的な破られ方が未知のプリミティブ(フル強度版と縮小版の両方で評価)、(iii)暗号解読のフロンティアに位置する実運用プリミティブによるチャレンジセットです。5つのフロンティアモデル(Claude Opus 4.8、Sonnet 5、Mythos 5、GPT-5.5、そしてオープンウェイトのGLM-5.2)は、階層1のスキームの65%~86%を破り、階層2ではフル強度で6~12のスキームを、すべての縮小版を合わせると24~61のスキームを破りました。既知の結果を導き出すだけでなく、モデルは新たな暗号解読手法も生み出しました。例えば、SpoC AEADの設計上の欠陥を突く鍵回復攻撃や、KINDIの公表済みCCA安全性証明における誤りの指摘などで、いずれも私たちの知る限り、これまで知られていなかったものです。

私たちはCryptanalysisBenchを、AIによる暗号解読が深刻な要因となるかどうか(あるいはいつなるか)を追跡する手段として、また候補となる暗号方式を実運用投入前にストレステストするための足場として公開します。このベンチマークがすでに明らかにしている攻撃手法は、急速に変化しつつあるフロンティアの初期のスナップショットに過ぎず、いずれ公表されている最先端の水準に並び、部分的にはそれを上回る可能性さえあります。

Anthropicはこのベンチマークを使ってMythos Previewをテストし、Hawkおよびラウンド数を削減したAESに新たな脆弱性を発見しました。

まだ初期段階の結果ではありますが、間違いなく注視すべき動きです。