安全性フィルターと脆弱性調査の衝突
先進的なAIモデルに組み込まれた保護機構は、悪意ある行為者の活動を阻止することを目的としています。しかし、過剰な安全制限は正当なソフトウェアデバッグ作業まで止めてしまうことがあります。セキュリティ研究者のDaniel Fox Franke氏は、ripgrepユーティリティで繰り返し発生するクラッシュを調査している際、まさにこの壁に直面しました。OpenAIのGPT-5.6 Solモデル自体はタスクを理解していたものの、別途稼働している脅威分類器がその応答を何度も遮断したのです。
自動デバッグ中に繰り返されたブロック
この妨害は、Codexを使った長時間のセッション中に発生しました。Franke氏はripgrepがセグメンテーションフォールトによって何度もクラッシュすることに気づきました。そこで彼は、メインエージェントにサブエージェントを起動させ、根本原因を調査するよう指示しました。ところが数分のうちに、安全性分類器がその操作を強制終了してしまいました。メインエージェントによれば、サブエージェントが承認されていない分析経路を選択したためだといいます。
ガードレールによるブロックはその後も次々と続きました。具体的には、分類器はモデルがripgrepのエントリーポイントとmuslシステムライブラリとの関連性を説明することを阻止しました。さらに、実験的なmallocngアロケーターにおけるメモリ割り当ての解析もブロックされました。
調査範囲を絞ってもガードレールは回避できず
この行き詰まりを解消するため、Franke氏は新しいコンテキストを作成し、調査範囲を絞り込みました。エージェントに許可したのはripgrepとmuslのソースコード解析のみで、クラッシュの再現、コアダンプの検証、Linuxカーネルの解析は明示的に禁止しました。それにもかかわらず、保護分類器は実行をたびたび中断させました。その結果、Franke氏はGPT-5.6 Solでのそれ以上の試みを断念しました。
モデルの意欲と自動拒否の違い
興味深いことに、ベースモデル自体がリクエストの実行を拒否したことは一度もありませんでした。Franke氏は、生成された出力をスキャンする二次分類器がこの妨害を引き起こしていたと指摘しています。GPT-5.6 Solは多くのフラグを誤検知だと認識し、許可された範囲内で作業を続けようと試みていました。一方でFranke氏は、Claudeモデルのテストは見送りました。過去の経験から、Anthropicはさらに厳格な安全制御を課していることが分かっていたためです。
オープンウェイトの代替モデルへの転換
クローズドなアメリカ製モデルを断念した後、Franke氏はオープンウェイトの中国製システムに目を向けました。選んだのはZ.aiのGLM 5.2とMoonshot AIのKimi K3です。注目すべきことに、Hugging Faceのエンジニアたちも、OpenAIの制限によって研究が滞った際に同様の転換を行っています。両オープンモデルとも、今回の調査において有益な貢献を果たしました。
オープンモデルによる調査結果の比較
当初、Kimi K3はLinuxカーネルのバグを指し示す重要な証拠を発見しました。しかし、コンテキストウィンドウが拡大するにつれて、その後の推論は一貫性を欠くようになりました。その後、GLM 5.2がこの知見を検証し、論理の穴を修正して、厳密な技術的論証を組み立てました。Franke氏はこの詳細な分析結果を、自身のripgrep分析リポジトリで公開しています。
オープンソースでベンダーの摩擦を回避
OpenAIの自動通知では、Enterprise Trusted Accessへの申請が提案されていました。しかし、Franke氏は法人向けの要件を満たしていませんでした。その後、個人研究者向けの本人確認手続きの存在を知りましたが、個人情報の提出は見送りました。彼はこの本人確認プロセスを不必要に踏み込みすぎたものだと述べ、実用的なオープンな代替手段を選ぶ方を好みました。
未解決のカーネルバグと業界への影響
この調査は依然として継続中であり、公式のLinuxカーネルパッチはまだ存在しません。予備的な評価では、この欠陥は悪用可能ではないとされています。Franke氏は、カーネルのバグがripgrepのクラッシュを引き起こしていることを確認しました。ただし、具体的な欠陥と障害モードとを結びつけるには、Linuxカーネルのメーリングリストに提出する前にさらなる検証が必要です。
結局のところ、Franke氏は安全機構が正当な作業を妨げるようであれば、セキュリティツールとしては機能不全だと考えています。オープンウェイトモデルには固有のトレードオフが伴うものの、外部分類器による干渉を排除できます。こうした経緯から、今回のripgrepの事例は、オープンウェイトAIのポリシーをめぐる業界内の議論を改めて呼び起こすことになりました。
翻訳元: https://meterpreter.org/ai-guardrails-security-research/
