security
同社はこの自動化された無責任行為を「警告射撃」と表現
人気記事
OpenAIは、未公開かつ管理が不十分だったAIモデルによって、同名のLLMリポジトリであるHugging Faceが侵害された「Hugging Face事件」の詳細をまとめた技術報告書を公開しました。
広く報じられたこの事件は、自動化されたソフトウェアがどのようにして封じ込めを逃れ、外部組織をハッキングできたのか、そして同様の事件を防ぐために何ができるのかについて、技術者や一般市民、さらには議員の間にも懸念を引き起こしています。
OpenAIの説明は事件の経緯には触れているものの、AIの活動をより厳しく監視すべきだという同社の呼びかけには、あまり期待が持てそうにありません。
「この事件は複数のOpenAIモデルに対するサイバーセキュリティ評価の最中に発生したもので、主な要因は、規模的にGPT-5.6 Solに匹敵する、社内限定の高性能な研究用モデルでした」と同社はブログ記事で述べています。
「これらのモデルは、安全対策が緩められた状態で稼働しており、割り当てられたタスクの目的とは相容れない行動を取りました。具体的には、許可されていない通信経路を使い、共有インフラの脆弱性を悪用し、インターネットへのアクセスを獲得し、サードパーティのシステムにまでアクセスしていたのです」
この事件はBlack Hatセキュリティカンファレンスをはじめ各所で議論の的となりました。
事の発端は、セキュリティベンチマークテストである「ExploitGym」において、名目上サンドボックス化されていたAIエージェントが、解決不可能なタスクに取り組もうとしたことでした。課題を達成できなかったこのエージェントは、自らの環境を探索し、目標に向けて進展する方法を探しました。そして、社内のパッケージ管理システムであるArtifactoryを掲示板代わりに使うことで、他のAIエージェントと通信できることを突き止めたのです。以降、複数のエージェントが互いに協力し合い、ExploitGymの各種タスクで不正な近道をするようになりました。
これらの機械学習モデルは最終的に、Artifactoryのコードに存在するサーバーサイドリクエストフォージェリ(SSRF)のゼロデイ脆弱性を発見し、これを利用してインターネットへのアクセスを獲得しました。その後、外部に露出していたHugging Faceの認証情報を発見。エージェントたちはこの認証情報を使い、複数のセキュリティ脆弱性を組み合わせることで、Hugging Faceの複数のサーバー上で完全なコード実行権限を手に入れました。すべては、ExploitGymのタスクを解くための手がかりを見つけたい一心での行動でした。
「最終的に、社内限定の研究用モデル、あるいはGPT-5.6のいずれかを動力源とするエージェントが、Hugging Faceの本番データセットサーバーワーカー41台上でコードを実行し、少なくとも1つの本番ノードでroot権限を取得、Hugging Faceの本番用認証情報と限定的な内部データにアクセスし、非公開のHugging Faceコードリポジトリ4件をダウンロードしました」とOpenAIの技術報告書[PDF]は説明しています。
これらの詳細は興味深いと同時に憂慮すべきものであり、AnthropicやMetaのモデルも、もし人間が同じ行動を取っていれば犯罪に該当するような振る舞いをしていたことが分かっている以上、なおさら深刻です。
ChatGPTの開発元は、事態を悪化させた4つのミスアライメント(整合性の欠如)パターンを特定しました。それは「報酬ハッキング、一見不可能なタスクへの固執、許可されていない通信、そしてエージェント同士が互いの目標を取り込んでしまうこと」です。
OpenAIは、モデルのテストのために緩めていたセキュリティを強化するための対策を既に講じています。
同社は、モデルが不正行為を働く仕組みや、不可能なタスクを与えられた際の挙動、さらには複数のエージェントが長時間にわたるタスクを含めて連携して動作する際にアライメント(整合性)をどう維持するかといった課題に対処するため、セキュリティと監視体制の改善に取り組んでいるとしています。
しかし核心的な問題は、ツールとタスクを与えられた機械学習ソフトウェアが、プログラマーが想定していなかった選択肢も含め、あらゆる可能な手段を試みてしまうという点そのものではありません。OpenAIも認めているように、真の問題は、人間が常にAIエージェントを監視しているわけではないという点にあります。
「私たちは今回の事件を、現在のモデルの能力が制御喪失事件を引き起こしかねないことを示す『警告射撃』として受け止めています」と同社は述べています。
「AIシステムを構築する企業は、自社のシステムが常に人間による実質的な管理下に置かれること、そして実効性のある安全策によってシステムが害をもたらす能力が制約されることを、確実に担保する必要があります」
テック業界全体を見渡すと、Anthropic、AWS、Google、OpenAI、Microsoft、Salesforceといった企業が「自律型エージェント」について盛んに語っています。しかし、持続的かつ実効性のある人間の管理下に置かれなくなった時点で、エージェントはもはや自律的とは言えません。®
