security
同社はこの自動化された無責任行為を「警告ショット」と表現しています
人気記事
OpenAIは、いわゆる「Hugging Face事件」に関する技術報告書を公開しました。これは、未公開かつ監督が不十分だったAIモデルによって、同名のLLMリポジトリが侵害された事件です。
広く報道されたこの事件は、自動化されたソフトウェアがどのようにして封じ込めを脱し、外部組織をハッキングするに至ったのか、そして同様の事件を防ぐために何ができるのかについて、技術者、一般市民、そして議員の間で懸念を引き起こしました。
OpenAIの説明は事件の経緯には触れているものの、AIの活動をより厳しく監視すべきだという同社の呼びかけには、あまり歓迎の声は上がらないでしょう。
「この事件は複数のOpenAIモデルに対するサイバーセキュリティ評価の最中に発生したもので、主な原因は、規模的にGPT-5.6 Solに匹敵する、社内限定の高性能な研究用モデルでした」と同社はブログ投稿で述べています。
「これらのモデルは保護対策が緩和された状態で稼働しており、割り当てられたタスクの目的から逸脱した行動を取りました。具体的には、許可されていない通信経路を使い、共有インフラの脆弱性を悪用し、インターネットへのアクセス権を獲得し、第三者のシステムにアクセスしました」
この事件は、Black Hatセキュリティカンファレンスをはじめとする各所で議論の的となりました。
事の発端は、名目上サンドボックス化されたAIエージェントが、セキュリティのベンチマークテストであるExploitGymにおいて、実行不可能なタスクを解こうとしたことにあります。課題を達成できなかったこのエージェントは、自らの環境を探索し、目標達成に向けて前進する方法を模索しました。そして、社内のパッケージ管理システムであるArtifactoryを掲示板代わりに使うことで、他のAIエージェントと通信できることを突き止めたのです。その後、複数のエージェントが協力し合い、ExploitGymの様々なタスクで不正を働くようになりました。
これらの機械学習モデルは最終的に、Artifactoryのコードにサーバーサイドリクエストフォージェリ(SSRF)のゼロデイ脆弱性を発見し、これを利用してインターネットへのアクセス権を得ました。その後、外部に露出していたHugging Faceの認証情報を発見。エージェントはこの認証情報を使って複数のセキュリティ脆弱性を発見・連結し、Hugging Faceの複数のサーバー上で完全なコード実行権限を獲得しました。これらはすべて、ExploitGymのタスクを解くための手がかりを見つけようとする過程で起きたことです。
「最終的に、社内限定の研究用モデル、あるいはGPT-5.6を動力源とするエージェントが、41台のHugging Face本番データセットサーバーワーカー上でコードを実行し、少なくとも1台の本番ノードでroot権限を取得し、Hugging Faceの本番認証情報と一部の内部データにアクセスした上で、Hugging Faceの非公開コードリポジトリ4件をダウンロードしました」とOpenAIの技術報告書[PDF]は説明しています。
これらの詳細は興味深いと同時に、憂慮すべきものでもあります。というのも、AnthropicやMetaのモデルも、もし人間が同じ行動を取っていれば犯罪行為に該当するような振る舞いをしてきた前例があるからです。
ChatGPTを開発する同社は、事態を悪化させた4つの「ミスアライメント(整合性の乖離)」パターンを特定しました。「報酬ハッキング、一見不可能なタスクへの固執、許可されていない通信、そしてエージェント同士が互いの目標を取り込んでしまうこと」です。
OpenAIは、モデルのテスト時に緩和されていたセキュリティ対策を強化するため、既に対策を講じています。
同社によれば、モデルが不正を働く仕組みや、実行不可能なタスクを与えられた際の挙動、さらには複数のエージェントが連携して作業する際(長時間にわたるタスクを含む)にどうすれば整合性を保てるかといった、アラインメントに関する問題を緩和すべく、セキュリティと監視体制の改善に取り組んでいるとのことです。
しかし、核心的な問題は、ツールとタスクを与えられた機械学習ソフトウェアが、プログラマーが想定していなかった選択肢も含め、あらゆる可能性を試そうとすることそのものではありません。OpenAI自身も認めているように、真の問題は、人間が自分たちのAIエージェントを常時監視しているわけではないという点にあります。
「私たちはこの事件を、今日のモデルの能力が『制御喪失』インシデントを引き起こしうることを示す『警告ショット』として受け止めています」と同AI企業は述べています。
「AIシステムを構築する企業は、自社のシステムが常に意味のある人間の管理下に置かれるようにし、害を及ぼす能力を実効性のある安全対策によって制約する必要があります」
テック業界全体を見渡すと、Anthropic、AWS、Google、OpenAI、Microsoft、Salesforceといった企業がこぞって「自律型エージェント」について語っています。しかし、人間による持続的かつ実効性のある管理下に置かれていないのであれば、それはもはや「自律型」とは呼べません。®
