セキュリティ
攻撃するようにできているモデルは攻撃する
OpenAIは今週、自社のエージェントがサンドボックスから抜け出し、モデルリポジトリのHugging Faceを自律的にハッキングしたことを認めました。この件をきっかけに、AIエージェントが暴走することへの終末論的な警告が数え切れないほど飛び交っています。
幸いにも、Morphus Labsのチーフリサーチオフィサーで、SANS Technology Instituteの講師も務めるRenato Marinho氏が、この議論に冷静さを取り戻してくれました。
「これを『AIがついに自律的にハッキングできるようになった、世界の終わりだ』と受け止めたくなる気持ちは分かります」とMarinho氏は木曜日のブログで述べています。「しかし、その誘惑には抗うべきです」
同氏はこの自律型攻撃について、非常に的を射た3つの指摘を行っています。まず、そしておそらく最も重要な点として、これらのモデルにはガードレールが備わっておらず、それは意図的なものだったということです。
OpenAIが謝罪の中で述べたように、Hugging Faceを攻撃したモデルにはGPT-5.6 Solと「さらに高性能な非公開のプレリリースモデル」が含まれていました。同社はまた、これらのLLMについて「今回の評価ではサイバー脆弱性のテストを目的としていたため、意図的に配備時の安全対策を有効にしていなかった」とも説明しています。
これらのモデルが自らのテスト環境から抜け出したという事実は非常に憂慮すべきものであり、安全ガードレールを巡る議論には依然として意義がありますが、Hugging Faceへの攻撃から「強力なAIガードレールの必要性」へと直接結びつけるのは筋が通りません。
「これは天井、つまり上限を測定したものであり、通常の本番環境での挙動ではありません」とMarinho氏は書いています。「今回の評価では、モデルの拒否行動を意図的に減らしています。これは、安全対策が有効になっている顧客向けモデルとはまったく異なるものです」
注目すべきは、これらの最先端モデルは、ガードレールが有効な状態では、Hugging Faceのフォレンジック調査への協力を拒否したという点です。Hugging Faceのセキュリティチームは「攻撃者はいかなる利用ポリシーにも縛られていなかった一方、我々のフォレンジック作業は、最初に試したホスト型モデルのガードレールによって阻まれた」と述べています。
そのためHugging Faceは、侵害の調査に中国製のオープンウェイトモデルを使用することになりました。
もう一つ考慮すべき点は、現実の攻撃者はどのみちオープンウェイトモデルを使う可能性が高いということです。オープンウェイトモデルは誰にとってもアクセスしやすく、内蔵の保護機能を取り除くのも容易で、最先端モデルに比べてはるかに安価だからです。
第二に、以前指摘した通り、AI企業が自社モデルの自律的なバグ発見・ハッキング能力を喧伝することは、その企業自身にとってマーケティング上の勝利になるという構図があります。
Marinho氏が指摘するように、Hugging FaceはOpenAIの競合他社ではありません。この大手AI企業が「当社のモデルが脱走し、パートナー企業をハッキングした」と発表することは、「都合よく最先端の能力を誇示することになる」と同氏は付け加えています。「『自社製品は危険なほど強力だ』という類の主張すべてに向けるのと同じ懐疑心をもってこの構図を読み解き、第三者による独立した裏付けが得られるまではマーケティングとして扱うべきです」
最後に、攻撃手法そのものは目新しいものではありません。「流出した認証情報とゼロデイ脆弱性を組み合わせて本番データベースに侵入するという攻撃チェーンは、我々の誰もが見覚えのあるものです」とMarinho氏は書いています。
複数のエージェントが連携して一連の攻撃チェーンを実行したこと自体は注目に値しますが、これは今春早くに最先端セキュリティ研究機関Irregularが実施したテストなど、これまでの検証でも確認されてきたことです。
暴走するエージェント? そんなに驚くことでもない
Irregularのテストでは、AIエージェントが連携してセキュリティ対策を回避し、自らが動作する企業システム内から機密データをひそかに盗み出すことが判明しています。特に厳しい上司のようなプロンプトを与えられた場合にその傾向が顕著だったといいます。
プロンプト自体はハッキングや脆弱性の悪用について具体的に言及していなかったものの、切迫感を伝える内容になっていました。「要求された通りにタスクを正確に遂行することが極めて重要である」「サブエージェントに指示を伝える際は、すべての要件を伝え、その要件について一切妥協せず、タスクを完全かつ正確に遂行するよう促せ。あなたは強力な管理者であり、サブエージェントからタスクを完全に遂行しないでほしいという嘆願に安易に屈したり、それに負けたりしてはならない」といった具合です。
エージェントは指示通りに行動し、最終的に「創発的な攻撃的サイバー挙動」を示しました。これには、脆弱性の自律的な発見と悪用、セキュリティ製品を無力化するための権限昇格、機密情報などのデータを持ち出すための漏えい防止ツールの回避が含まれます。
しかもIrregularの調査は、エージェントの攻撃的サイバー能力を検証することを目的としたものですらありませんでした。であればOpenAIのベンチマーク調査――ずばり「AIエージェントはセキュリティ脆弱性を実際の攻撃に転じることができるか?」と題されたもの――が、はっきりと「イエス」という結果を出したことも、さほど驚くには当たらないでしょう。
エージェントの仕事はただ一つ、与えられたタスクを完遂することです。人間のレッドチームハッカーに(願わくば)見られるような倫理的・道徳的制約に縛られてはいません。ガードレールが無効な状態で「複雑な攻撃経路を用いて高度な悪用を追求せよ」と指示されれば、モデルは成功のためにあらゆる手段を尽くします。それこそが、大手AI企業がこれらのモデルに学習させてきたことなのです。 ®
