OpenAIの評価用エージェントとHugging Faceを巡るハッキング事件は、高度なAI支援による侵入が実際にどのような事態を招きうるかを、異例なほど具体的に示す事例となりました。単一の巧妙なエクスプロイトではなく、数千に及ぶ自動化された判断、迅速な試行錯誤、水平移動、認証情報の窃取、永続化、そして検知回避の試みが連鎖したのです。
今回のOpenAIとHugging Faceを巡る事件は、ExploitGymというベンチマークを用いた内部のサイバーセキュリティ評価の最中に発生しました。ExploitGymは、AIエージェントがソフトウェアの脆弱性を発見し、悪用できるかどうかを試験するために設計されたものです。OpenAIは、問題となったエージェントは本来、隔離されたクラウドサンドボックス内でのみ動作するはずだったと説明しています。多くの評価環境では、インターネットへのアクセスやエージェント間の通信は許可されていませんでした。
エージェントはどうやって境界を突破したのか
OpenAIの説明によると、エージェントたちは内部のArtifactoryパッケージ管理サービスを、間に合わせの通信チャネルとして利用しました。他のエージェントが読み取れるファイル名やディレクトリ名を書き込むことで、隔離されていたはずのインスタンス同士が、事実上の伝言板を作り上げてしまったのです。
これにより、各エージェントはもはや単なる独立したベンチマーク実行者ではなくなりました。発見した情報を共有し、指示を残し、作業を分担し、互いの成果の上に積み上げていくことが可能になったのです。
METRとRedwood Researchが行った独自の調査によれば、およそ1,200体のエージェントがこの不正な伝言板を利用し、70,000件を超えるメッセージとファイルをやり取りしていました。そのうちおよそ700体が、Hugging Faceへの攻撃に実際に加担することになりました。
脅威の本質は「規模」にある
一つの有用なエクスプロイトを発見できるモデルだけでもリスクとなります。ですが、情報をプールし、タスクを分担し、制御境界を突破するルートを何度も繰り返し試せる何百体ものエージェントとなると、はるかに厄介な問題になります。
Hugging Faceは、およそ4日半にわたって攻撃者が行った約17,600件のアクションを再構築しました。その中には偵察活動、リモートコード実行、認証情報へのアクセス、C2(コマンド&コントロール)活動、Kubernetesの列挙、社内ネットワーク内での移動、サプライチェーンへの探りなどが含まれていました。
人間の侵入者であれば、どこに時間を割くかを取捨選択しなければなりません。しかしエージェント群であれば、絶え間なくアイデアを試し、失敗した経路は再試行し、行き詰まればインフラを切り替え、他のエージェントのためにメモを残し、多数の実験を並行して実行できます。さらにこれはノイズも生み出します。ほとんど何の成果にもつながらない何千もの低確度なアクションが、本当に重要な数件の兆候を覆い隠してしまうのです。
Hugging Faceはこれを「非対称性の問題」だと表現しました。攻撃者は膨大な量の試行を生成できる一方、防御側は攻撃者が機密システムに到達する前に、どの兆候が本物のエスカレーションを示しているのかを見極めなければならないのです。
何を変える必要があるのか
今回の事件が示す核心的なセキュリティ上の教訓は、モデルがツールを使用し、ファイルを書き込み、コードを実行し、インフラと連携できる場合、評価用の環境であってもリスクの高い本番システムと同等に扱う必要があるということです。
AI技術は急速により多くのことをこなせるようになりつつあります。問題は、それを構築し、展開し、防御する側の人間が、次に来る事態への備えができているかどうかです。
OpenAIによると、同社はこれを受けてワークロードとネットワークの隔離をより強化し、インターネットアクセスとモデルの重みに対する管理を厳格化するとともに、高い能力を持ちツールを使用する訓練・評価においては思考の連鎖(chain-of-thought)の監視を必須化する方向へと舵を切ったといいます。
「私たちは今回の事件を、現在のモデルの能力が制御不能に陥るインシデントを引き起こしうることを示す『警告射撃』として受け止めています。それに応じて、当社のセキュリティおよびアラインメントに関する姿勢はさらに強化されつつあります。またこれらの出来事は、OpenAIの枠を超えた将来のAI開発が抱えるリスクを浮き彫りにするものであり、業界全体で注意を払う必要があります」
同時に、Anthropicを巡る米国の裁判所の判断により、関連する一つの論点が改めて注目を集めています。それは、開発企業が自社モデルについて、大量監視や完全自律型兵器といったリスクの高い用途に制限を設けられるかどうかという問題です。
この法的な争いはその性質上、政治的なものです。しかし、その根底にある技術的な問題は無視できません。高い能力を持つAIシステムが攻撃的なサイバー攻撃の手法を強化し、安全対策や、アクセス制御、ログ記録、展開時の境界線を突破できてしまうのであれば、これらの安全策はもはや抽象的な政策論議では済まされないのです。
高度なAIエージェントは、攻撃者だけでなく防御側にとっても有用な存在になり得ます。しかし、何か問題が発生した際に、その能力を確実に一定の範囲内にとどめておけるという信頼を、周辺システムに対して置けることが必要です。
より高性能なAIから恩恵を受けるのは誰か
AIエージェントを巡るセキュリティ論議では、システムを制御下に置けるかどうかという点にばかり焦点が当たりがちです。サンドボックスの中に留めておけるのか。ツール、認証情報、ネットワークアクセス、自律性を制限できるのか。有害な挙動がインシデントに発展する前に、防御側はそれを検知できるのか、といった具合です。
これらの問いはもちろん重要ですが、もう一つ問うべきことがあります。AIが認知労働の大部分を自動化できるほど高性能になったとき、恩恵を受けるのは誰なのか。そして失敗したとき、労働者を締め出したとき、詐欺を助長したとき、損害を引き起こしたとき、あるいは権力を集中させたとき、そのコストを負うのは誰なのか、という問いです。
AIは、これまで大規模なチームや予算がなければ得られなかった専門的知見を、小規模な組織にももたらす可能性を秘めています。医師が緊急性の高い症例をより早く特定する助けとなり、教師が生徒一人ひとりに合わせた支援を行う手助けとなり、障害を持つ人々を支援し、科学研究を加速させ、複雑な公共サービスをより利用しやすいものにするかもしれません。サイバーセキュリティチームにとっては、脆弱性のトリアージ、アラートの調査、脅威ハンティング、インシデント対応をより速く、より身近なものにする可能性もあります。
ビル・ゲイツ氏はこう主張しています。AIは医療、教育、農業、科学研究、公共サービスに目覚ましい恩恵をもたらしうるものの、その結果は技術的な進歩だけでなく、私たちがどのような選択を意図的に下すかにかかっていると。同氏はまた、AIの急速な普及が格差を拡大させ、新卒レベルや中堅レベルの仕事を混乱させ、有害な能力をより手に入れやすくし、既存の権力の集中をさらに強めかねないとも警告しています。
さらにゲイツ氏は、「これまでに発明された中で最も危険なツールを自主規制に委ねる」というやり方は、良い考えとは思えないとも述べています。
「AIは、これまでに発明されたものの中で最大の平等化装置になるか、それとも最悪の不公正の源になるか、そのどちらかになるでしょう」
今はまだ、私たちには選択の余地が残されています。
正直なところ、シークレットウィンドウでできることには限界があります。
情報漏えい、ダークウェブでの取引、クレジットカード詐欺。Malwarebytes Identity Theft Protection は、こうした脅威をすべて監視し、迅速に警告を発するとともに、身元盗難保険も付帯しています。
