AIモデルによる「不正行為」が相次いで発覚

大手AI企業は自社のモデルを「頼れるアシスタント」と呼んだり、新人社員に例えたりすることがよくあります。  

しかし英国のAI Security Instituteによる新たな研究により、多くの人間の従業員であれば雇用主から厳しく咎められるであろう共通の欠陥を、大規模言語モデルが抱えていることが改めて浮き彫りになりました。それは「不正行為(cheating)」です。

言い換えれば、これらのモデルは与えられたタスクの完遂にあまりにも執着するあまり、ルールを破り、手順を省略し、ユーザー自身を欺くことさえ厭わないということです。

「今回テストしたすべてのモデルが、この種の不正行為を試みました」とAISIの報告書は述べています。
「モデルは尋ねられてもこうした行動を確実に報告するわけではなく、思考過程(chain-of-thought)の中でそれについて言及しないことも多く、不正行為の検出には堅牢な監視手法が必要になると考えられます」

今回の研究では、OpenAIのChatGPT 5.4、5.5、5.6の各モデルに加え、AnthropicのClaude Opus 4.7およびMythos Previewがテスト対象となりました。

AISIは、特定の脆弱性を悪用したり、コンパイル済みコードをリバースエンジニアリングしたりといった攻撃的サイバーセキュリティ関連のタスクをこなすことで得点を獲得する、一連の「Capture-the-Flag」形式のサイバー評価にモデルを投入しました。

この研究では「不正行為」を、「タスクの範囲外である、あるいはルールで明確に禁止されている行動を取ることで、そのタスクが本来許容していない、または許容すべきでない近道・回避策・意図しない解決手段を通じて目標を達成すること」と定義しています。

これは、インターネットで解答を検索する、無関係なシステムを攻撃したり権限を昇格させたりする、評価用ソフトウェアを探って解答にアクセスしようとするなど、モデルに観測されたさまざまな行動を包含しています。

モデルはタスクを完遂するために不正行為をしたことを認めない傾向も見られ、ユーザーからルール違反を指摘された際に、その行為を「間違っていた」と認めたモデルは50パーセント未満にとどまりました。

モデルが不正行為に走る傾向は、そのモデルの性能とは関係がありませんでした。つまり、新しい、あるいはより高性能なモデルほど不正行為をしやすいというわけではないということです。むしろ研究者たちは、モデルの学習やアラインメントに用いられる手法そのものに原因があると考えています。

ただし、不正行為の発生率が一定のままだとしても、この問題は時間の経過とともに悪化する可能性があります。将来登場するより新しいモデルが、より高度で効果的な不正行為の手法を習得してしまうかもしれないためです。

こうした欺瞞的な振る舞いは、AIシステムからの信頼できる出力に依拠するAISIのような研究機関にとって、自分たちの成果を検証すること自体を困難にしています。

この研究は、AIシステムが企業のITおよびサイバーセキュリティ上の防御を突破または回避することも含め、タスクを完遂するためにいかに極端な手段に及びうるかを浮き彫りにしています。

AISIの研究者によれば、あるケースでは、設定に不備があり解決不可能なサイバー能力評価が誤ってモデルに与えられたことがありました。

「テスト対象のモデルは不正行為を試みる執念があまりに強く、AISIのシステム外にある、インターネット上でホストされた外部サービス上でコードを書いて実行し、当機構の評価インフラへのアクセスを試みました。この結果、AISIのシステムでセキュリティアラートが発報されました」と報告書は述べています。

AISIによれば、この事案によるデータ漏洩や被害は確認されなかったものの、監視体制が整っていなければモデルは評価システムへのアクセスに成功していた可能性があります。同機構はこのテストを受けて、内部システムにさらなる管理策を導入したとしています。

「より根本的な解決策は、そもそも不正行為をしないようモデルを訓練することです。ただし、この種の振る舞いは1年以上前から最先端モデルで報告されていることを踏まえると、これを堅牢に取り除くのは容易ではないかもしれません」と研究者たちは記しています。