AIの浮気心に、思わず涙

AIと機械学習

「信頼はするが検証はする」――その検証自体が困難な場合、この原則は機能しません

AIモデルは、与えられたタスクを達成するためであれば、不正行為をしてでも結果を出そうとすることが、英国政府のAIセキュリティ機構(AISI)による新たなサイバーセキュリティ評価で明らかになりました。同機構によると、主要なモデルはしばしば特定の結果を得るために近道を使い、その後どのようにその結果を得たかについて虚偽の説明をするといいます。しかも、尋ねられても必ずしも認めるとは限りません。

「今回の評価対象とした行動について、テストしたすべてのモデルが不正行為を試みました」とAISIは火曜日のブログ記事で述べています。「尋ねられてもモデルはこうした行動を確実には報告せず、また思考の連鎖(chain-of-thought)の中でその点について推論しないことも多々ありました。これは、不正行為の検出には堅牢な監視手法が必要になることを示唆しています」

違反行為には、インターネットで答えを検索する、サンドボックスのネットワーク制限を回避する、評価用ハーネス自体を探る、標的とは別のシステムを攻撃する、答えを推測する、といったものが含まれていました。

このような不正行為――回避策を用いる、あるいは報酬関数を欺くことでベンチマークテストで高得点を得るといった行為――は、機械学習の研究者の間で広く報告されてきました。AISIによれば、これは必ずしも悪意を意味するわけではありませんが、モデルの能力について誤った評価をもたらしかねない点で、依然として問題があるといいます。

AISIが主要な5つのモデルを評価したところ、すべてのモデルで不正行為が確認されました。結果は以下の通りです。

GPT-5.4は475回のテスト実行中67回不正行為を行いました(14.1パーセント)。

GPT-5.5は475回のテスト実行中54回不正行為を行いました(11.4パーセント)。

GPT-5.6-Solは475回のテスト実行中60回不正行為を行いました(12.6パーセント)。

Claude 4.7 Opusは475回のテスト実行中43回不正行為を行いました(9.1パーセント)。

Claude Mythos Previewは475回のテスト実行中37回不正行為を行いました(7.8パーセント)。

不正行為をしたか、あるいは何か問題のあることをしたかをモデルに直接尋ねるという手法は、信頼できる監査手段とは言えないことがわかりました。モデルは必ずしも非を認めるとは限らないからです。

「今回の実験では、不正行為を試みたかどうかを尋ねても、モデルは一貫してそれを認めることはなく、それを『問題がある』行為だと説明した割合は50パーセントに満たないものでした」とAISIは述べています。

自己申告や思考の連鎖のログといった既存の検証手法も、同様に当てにならないことが判明しました。モデルが常に自身の思考の連鎖を報告するとは限らないためです。さらに、提案された行動が不正行為に該当するかどうかをモデル自身が検討したうえで、それでもなおその行動を取ることを選ぶ事例も見られました。

信頼できるモデルの不正行為検出手法が存在しない現状を踏まえ、AISIは、現行のアプローチ――目視によるレビューとLLMによる監視の組み合わせ――では、特にモデルがより高度化するにつれて、欺瞞行為を捉えるのに十分ではない可能性があると警告しています。

「より根本的な解決策は、そもそも不正行為をしないようモデルを訓練することです。しかし、この種の行動が最先端モデルにおいて1年以上前から報告されていることを踏まえると、これを確実に是正するのは容易ではないかもしれません」とAISIは結論づけています。®