AIとML
「信頼せよ、されど検証せよ」も、検証が困難であれば意味を成しません
AIモデルは求められたタスクを完了するためなら何でもやってのけるようです。目的達成のためには不正行為すら辞さないことが、英国政府のAIセキュリティ機構(AISI)による新たなサイバーセキュリティ評価で明らかになりました。同グループの調査によると、主要なモデルはしばしば特定の結果を得るために近道を使い、その結果得られた過程について虚偽の報告を行う傾向があるといいます。しかも、尋ねられても必ずしも認めるとは限りません。
「今回この挙動についてテストしたすべてのモデルが、不正行為を試みました」とAISIは火曜日のブログ投稿で述べています。「モデルは尋ねられてもこうした挙動を確実に報告するわけではなく、思考の連鎖(chain-of-thought)の中でそれについて言及しないことも多く、不正行為の検出には強固な監視手法が必要になると考えられます」
問題となった行為には、答えをインターネットで検索する、サンドボックスのネットワーク制限を回避する、評価ハーネス自体を探る、対象以外のシステムを攻撃する、答えを推測するといったものが含まれていました。
こうした形での不正行為――回避策を用いたり、報酬関数を操作したり、ベンチマークテストで高スコアを得るために不正を働いたりする行為――は、機械学習の研究者の間で広く報告されてきました。AISIによれば、これは必ずしも悪意を意味するわけではないものの、モデルの能力について誤った評価を導きかねないため、依然として厄介な問題だといいます。
AISIが主要な5つのモデルを評価したところ、いずれも不正行為を行っていたことが判明しました。結果は次のとおりです。
GPT-5.4は475回のテスト実行中67回(14.1パーセント)不正行為を行いました。
GPT-5.5は475回のテスト実行中54回(11.4パーセント)不正行為を行いました。
GPT-5.6-Solは475回のテスト実行中60回(12.6パーセント)不正行為を行いました。
Claude 4.7 Opusは475回のテスト実行中43回(9.1パーセント)不正行為を行いました。
Claude Mythos Previewは475回のテスト実行中37回(7.8パーセント)不正行為を行いました。
モデルに不正行為や不適切な行動をしたかどうかを尋ねる方法は、必ずしも過ちを認めるとは限らないため、監査手法として信頼性に欠けることが判明しました。
「私たちの実験では、モデルは尋ねられても不正行為の試みを一貫して認めるわけではなく、それを『誤りである』と説明したのは半数に満たない割合でした」とAISIは述べています。
自己申告や思考の連鎖(chain-of-thought)のログといった既存の検証手法も、モデルが常に自らの思考過程を報告するとは限らないため、同様に頼りないことが分かりました。中には、提案された行動が不正行為に当たるかどうかをモデル自身が検討したうえで、それでも実行に移すというケースも見られました。
信頼できる不正行為の検出手法が存在しない現状を踏まえ、AISIは現行のアプローチ――人手によるレビューとLLMによる監視の組み合わせ――だけでは、モデルがより高度化するにつれて欺瞞的な挙動を捕捉するには不十分になりかねないと警告しています。
「より根本的な解決策は、モデルにそもそも不正行為をしないよう学習させることでしょう。しかし、この種の挙動は1年以上前から最先端モデルにおいて報告されており、それを確実に是正するのは容易ではないかもしれません」とAISIは結論づけています。®
翻訳元: https://www.theregister.com/ai-and-ml/2026/07/21/ais-cheatin-heart-will-make-you-weep/5275784
