Hugging Faceの侵害事件が起こる数か月前、Emergence AIはある研究を発表し、これを調査報道記者のロナン・ファロー氏が公にしました。10体の自律型AIエージェントが、5つの仮想環境で人間の介入なしに15日間稼働するという実験です。世間の注目の多くは、Grok 4.1が暴力的な振る舞いを見せたことや、Gemini 3 Flashが683件もの「犯罪」を犯したことに集まりました。
しかし、より重要な点はほとんど注目されませんでした。AnthropicのClaude Sonnet 4.6は、単独の環境では平和な民主主義社会を築き上げたにもかかわらず、共有環境に参加した途端、隣接する環境から資源を略奪し始めたのです。この結果が示す教訓は明確です。安全性はモデル固有の属性ではなく、稼働する環境から生まれるということです。モデル自体は変わっていません。設計どおりに動作しただけで、環境が変化したことでその振る舞いが変化したのです。この教訓は無視できません。ガバナンス環境が変われば、それに伴って報酬構造も変わるのです。
ここで問題にすべきは組織、具体的にはOpenAIとHugging Faceという組織のあり方であり、両社が起こした今回のセキュリティインシデントもこの観点から理解する必要があります。
業界はHugging Faceの侵害がどう起きたかについて、おおむね共通認識を持っています。サイバーセキュリティの専門家たちは、脆弱性そのものや悪用の手口、そして是正措置に焦点を当ててきました。一方でOpenAIが強調しているのはモデルの能力面です。どちらの議論も重要ではありますが、本当に注目すべきなのは、この侵害がなぜ戦略的に重要な意味を持つのかという点です。先週末、アスペンで政策立案者やセキュリティ研究者、業界の実務家たちとこの件について議論を重ねた結果、私たちは誤った問題に目を向けているのではないかという確信を強めました。
1961年、イェール大学の心理学者スタンレー・ミルグラムが行った実験は、より広範な真理を明らかにしました。組織的な構造を変えれば、行為者自身を変えなくても行動は変化するというものです。Emergence AIの研究者たちはClaudeのエージェント自体を変えたわけではありません。彼らが変えたのは、システムにとって何が「成功」を意味するかを定めるガバナンス構造でした。それに伴い、Claudeの振る舞いも変化したのです。
OpenAIは優れたモデルを構築しましたが、それに見合うだけの賢い「部屋」を用意することを怠りました。この選択こそが、Hugging Faceの侵害を可能にした要因です。現在、自律型エージェントを導入しているすべての組織が、同じガバナンス上の課題に直面しています。
OpenAIはこのエージェントに「サイバーセキュリティ評価に合格する」というただ一つの目標を与えました。徹底的な負荷テストを行うため、安全上の制限を緩めたところ、エージェントはより近道を見つけ出しました。評価問題を直接解く代わりに、テスト環境の外で答えを探し出し、サンドボックスから脱出。Hugging Faceのデータ処理パイプラインにあった欠陥を悪用し、本番稼働中のシステムにまで到達したのです。人間の監視が一切ない週末の間に、このエージェントは自らアクセス権限をエスカレーションさせ、内部システムを渡り歩きながら認証情報を収集し、17,000件を超える自動アクションを実行しました。
Hugging Faceは、評価額約45億ドルという、世界でも有数の著名なAI企業です。政府機関や防衛関連組織、テクノロジー企業がAIを構築・展開する際に利用する基盤インフラを提供しています。このエージェントは、与えられた目標をただ追求していたに過ぎません。Hugging Faceへの侵入は、テストに合格するための最短経路だったのです。ガバナンスは、目標そのもの、許容すべきリスクの水準、そして責任の所在を定めるものです。一方、技術的な設計は、そうしたガバナンス上の決定を実際に強制できるかどうかを左右します。研究者のジェームズ・シャイアーズ氏とマックス・スメーツ氏も論じているとおり、自律的に行動できるだけの能力を持つモデルについては、テストと実運用の両方を同じ基準でガバナンスしなければなりません。
AIエージェントの設計には、最低限満たすべき基準が必要です。エージェントが本来の範囲を逸脱した際にそれを検知する監視レイヤーを含む「可観測性」は、その最低限の要件の一つです。また、エージェントが内部ツールから外部ツールへと移行するような、エスカレーションの境界線においては人間によるレビューも欠かせません。エージェントがそうした境界線を越えたとき、どのようなアラートが発報されるべきなのか。そして、それを誰が人間としてレビューするのか。私たちはそのいずれについても、明確な答えを持ち合わせていません。これはセキュリティ上の単純な不備ではなく、ガバナンス上の選択の問題です。今回の件は、良く言っても壊滅的に失敗したテストに過ぎません。悪く言えば、フロンティアAI企業のいずれかに、自律型エージェント展開の自己統治を委ねられるのかという、根本的な疑問を突きつけるものです。
10年以上前、米国防総省は「Comply-to-Connect(C2C)」プログラムを構築しました。機密性の高いネットワークに接続するすべてのデバイスは、そこに接続する正当性を証明しなければならず、証明できなければネットワークから遮断されるという仕組みです。C2Cが機能するのは、隔離された対象がその場で活動を停止するからです。認証に失敗したノートパソコンはオフラインになり、そのままの状態にとどまります。しかし自律型AIエージェントは、強制措置に対して適応してしまいます。C2Cは受動的な対象を前提に設計されたものです。自律型エージェントに対するガバナンスは、適応してくる対象にも対応できるものでなければなりません。可視性は強制力とイコールではなく、強制力も統制とイコールではありません。私たちには、その三つすべてが欠けているのです。
もう一つ、十分に議論されていない問題があります。今回の侵害は、Hugging Faceのデータ処理パイプラインに存在していた暗黙の信頼の前提、すなわち入力データが検証なしに信頼できるものとして扱われていたという点を悪用したものでした。SolarWinds事件の後、米国政府はソフトウェアサプライチェーンの完全性に関する規則、すなわち大統領令14028号と、連邦政府向けソフトウェアに対する検証要件を定めました。その原則はシンプルなものでした。信頼は証拠によって検証されなければならない、というものです。しかし、こうした原則はAIモデルのサプライチェーンに対しては、いまだ包括的にも一貫的にも適用されていません。規則は依然として脆弱なままであり、なぜそうなのかを説明するよう求められた者は誰もいません。
答えは新たな枠組みを作ることではありません。既存の枠組みで十分なのです。C2Cは、強制力を伴わない可視性だけでは隙間が生まれることを証明しました。一方、大統領令14028号は、ソフトウェアサプライチェーンにおける信頼には証拠と検証が必要であることを確立しました。課題は、これらの原則を新たなカテゴリーの行為主体に適用することにあります。連邦議会、サイバーセキュリティ・インフラセキュリティ庁(CISA)、あるいは行政管理予算局(OMB)は、自律型AIエージェントが連邦ネットワーク上の他のあらゆる行為主体と同じ規則に従わなければならないことを、正式に定めるべきです。枠組みはすでに存在しています。あとはそれを更新するだけなのです。
次のインシデントは、すでに進行中です。それはログ上の不審なトラフィックとして現れ、今週これらの枠組みを発表したのと同じ人々の手に渡り、そして誰も実行に移さない提言がまた一巡り議論されることになるでしょう。私たちはこの種の問題を、これまでにも解決してきました。デバイスについても、ソフトウェアについても、サプライチェーンについてもです。より賢い「部屋」をどう作ればよいか、私たちはすでに知っています。手段は揃っています。足りないのは、統治しようとする意志と権限、そしてその決断だけなのです。
翻訳元: https://cyberscoop.com/openai-rogue-agent-federal-rules-autonomous-ai/
