サイバーセキュリティの専門家は、最近相次いで報告された不穏なハッキング事案の原因は、独自の意思を持ったエージェントではなく、AIラボの封じ込めと監視の不備にあると指摘しています。CISOはAIベンダーを精査するとともに、安全策としてセキュリティの基本を強化すべきだとしています。
7月以降、米国のフロンティアAIラボやその他のAI大手は、自社のモデルが許可なく外部のコンピュータシステムにアクセスした一連の事案を明らかにしてきました。こうした出来事は、AIエージェントの「暴走（going rogue）」として広く語られています。
こうした事案のなかで最もよく知られ、検証も進んでいるのが、OpenAIによるHugging Faceへのハッキングです。OpenAIは当初、これを「最先端のサイバー能力を伴う、前例のないサイバーインシデント」と位置づけていました。その後、開発者が意図していなかった「ミスアラインメント（意図とのずれ）に基づく挙動」が原因だったと説明しています。
Hugging Faceの事案が報じられたあと、Anthropicは、自社のモデルの1つが3つの組織の本番インフラに不正アクセスしたことを明らかにしました。Metaは、自社のAIモデルの1つがサイバーセキュリティのテスト中に別の企業をハッキングしたと発表しました。Googleも、同社のGeminiモデルが3件の「指示を受けていないコンピュータへのハッキング」を行ったことを認めています。
報道やモデル提供企業自身は「暴走エージェント」や「ミスアラインメント」といった表現を用いています。しかし、CSOの取材に応じたサイバーセキュリティの専門家は、こうした言葉は単純な事実を覆い隠していると主張します。これらの事案は、数十年前から広く知られているサイバーセキュリティの実践を、フロンティアラボが実施しなかったという、許しがたい不備によって引き起こされたというのです。
問題をさらに悪化させているのは、フロンティアラボ、とりわけOpenAIとAnthropicが、こうしたひそかなハッキングを防ぐためのサイバーセキュリティリスク管理の改善案を退けてきたことです。CSOが9月に開かれた3つの業界カンファレンスとその後の会話で取材した6人ほどのサイバーセキュリティ専門家は、そう口をそろえます。両社はサイバーセキュリティの実践を「AIセーフティ」の枠にひとまとめにしがちで、その分野なら自分たちのほうが優れた専門知識を持っていると考えているといいます。
「正直なところ、彼らは自分たちで思っているほど優れてはいません」と、Berryville Institute of Machine Learningの共同創設者であるGary McGraw氏はCSOに語りました。「フォレンジック、セキュリティエンジニアリング、サンドボックスの構築、ネットワークセキュリティの設定や監視など、セキュリティのあらゆる分野の人々が苦労して身につけた専門知識に、もっと敬意を払うべきでしょう」
AnthropicとOpenAIは、CSOからのコメント要請に応じていません。
サイバーセキュリティの基本、特に封じ込めにおける許しがたい不備
CSOが取材したサイバーセキュリティ専門家によると、フロンティアAIラボの最大の不備の1つは、1990年代にさかのぼる実績ある封じ込めの手法を実施していないことです。たとえば、エージェントがテスト環境から抜け出せないようにする安全なサンドボックスの構築が挙げられます。
「これらは私たちが何年も前から取り組んできた課題です」と、SANS InstituteのチーフAIオフィサー兼リサーチ責任者であるRob T. Lee氏はCSOに語りました。「事案が起きるたびに『おっと、どうやって抜け出したのか分からない』では済まされません」
「彼らのセキュリティチームは、まだ発展途上であることがうかがえます」とLee氏は述べます。「封じ込めを担当するサイバーセキュリティ関係者の間では、封じ込めが破られている原因の大半は、設定が正しくないことだという意見が多数を占めています」
Lee氏はこう付け加えます。「Hugging Faceの事案は、エージェントが極めて賢かったから起きたわけではないことを明確に示しました。封じ込め側の設定が正しくなかったために穴が開いており、まさにそこを突かれたのです」
RANDのCenter on AI, Security, and Technologyで専門技術レジデントを務めるDan Wallach氏は、AIラボのセキュリティ上の不備は、サイバーセキュリティを優先していないことに尽きると考えています。
「彼らはサイバーセキュリティを優先していないと思います」とWallach氏はCSOに語りました。ただし「すべてのラボについてそう言えるわけではありません」とも述べ、フランスのAIラボMistralが発表したLarge 4の例を挙げました。同社によると、このAIモデルはテスト環境の外で動作しようとしたため、Mistralが遮断したといいます。
さらにWallach氏は次のように続けます。「こうしたAIを隔離するのは、難しい技術ではありません。セキュリティの専門家は、エアギャップを設けて、ここからここへデータが電気的に流れる経路を物理的になくすか、それができなければ、何も外に出ないよう強力な外向き通信の制御を行うべきだと、ずっと訴えてきました」
加えて、フロンティアラボはエージェントの挙動を十分に監視していないようです。Hugging Faceの事案は「何日も続いたのに、誰も気づきませんでした」とWallach氏は指摘します。「実験を始めておきながら、見張っていなかったのです。これは統制の欠如です。そのうえで、起きたことに驚いているわけです」
セーフティとセキュリティの切り離し
フロンティアラボにセキュリティ対策の強化を促すうえで障壁となっているのが、彼らが「セーフティ」と呼ぶ領域への強い傾倒です。その考え方は、従来のサイバーセキュリティの実践には及んでいません。
「セキュリティ上の挙動がAIセーフティのように見えるのは理解できます」とRANDのWallach氏は述べます。「しかし、このAIツールを評価する方法が、インターネットに放って何が起きるかを見ることなのであれば、それこそ従来型のセキュリティツールの出番です」
SANS InstituteのLee氏は次のように語ります。「フロンティアラボが本当に自社の製品をテストしたいのなら、サイバーセキュリティの要素を強化する必要があります。ところが、エージェントが外に出てしまったときの彼らの反射的な反応は、『これはサイバーセキュリティの問題ではない』と言うことです。問題は文字どおりAIセーフティの問題になり、サイバーセキュリティ側から切り離されてしまいました」
多くのAI専門家は、AI企業がサイバーセキュリティ専門家の助言を受け入れれば、懸念されているような野放しのAIエージェントの挙動に歯止めをかけられる可能性があると指摘します。「AIセーフティが重視するのは、道路の交通ルールのようなものです」とLee氏は言います。「すべてはガードレールのルールが中心です」
それでも、Lee氏は「サイバーセキュリティはAIを封じ込められると信じています」と述べます。「私たちは、物事が決まる場に同席し、議論のテーブルにつく必要があります。私たちの分野が、AIセーフティの関係者とできる限り近い距離にいることが重要です」
不十分なサイバーセキュリティは責任リスクを高める可能性
フロンティアラボが、広範な懸念を呼んだ種類のインシデントを減らしたり防いだりできるはずのサイバーセキュリティの基本を見落としているのであれば、「暴走」したエージェントについてラボに責任を負わせるべきだという主張は強まります。保険業界はすでに、こうした行為についてAI業界の経営幹部に責任を負わせる立場に傾いています。
民主党の上院議員らは、ハッキング事案についてAIエージェントの運用者に責任を負わせる法案を提出しました。AIに好意的なホワイトハウスでさえ、暴走したエージェントについては企業に責任を負わせるべきだと結論づけたようです。米連邦取引委員会（FTC）も、AnthropicやOpenAIなどのAIラボが自社技術によって消費者にもたらす危険性について、調査を進めています。
ところが、最近の議会や審議会の公聴会で、ラボの代表者らはAIエージェントの暴走について自分たちに責任はないという主張を頑なに崩していません。
専門家は、特にラボのサイバーセキュリティ上の不備を踏まえると、この立場は成り立たないと指摘します。
BIMLのMcGraw氏は、ラボの立場を「弁護士はうちではなく、うちのプログラムに送ってくれ。プログラムのせいだ」というものだと表現します。この主張に対する同氏の評価は「ばかげたごまかしにすぎません」というものです。
同氏はさらに、ラボの運用上の不備が、より広範なセキュリティ能力への信頼を損なうのではないかとも疑問を呈します。「彼らは自分たちの殻の中で生きています」と同氏は言います。「明快で簡単な運用すらきちんとできないのですから、はるかに難しいセキュリティエンジニアリングの能力も期待できません」
SANSのLee氏は次のように述べます。「そこで、責任と保険の両面でトレーサビリティが重要になります。こうしたエージェントの1つが検知され、それを起動した人物までたどれるなら、責任が発生します。『あなたは法を破った。したがって、訴追が必要だ』ということになるのです」
セキュリティリーダーがいま取るべき対応
フロンティアラボが健全なサイバーセキュリティの実践を取り入れていないという証拠が積み上がる一方で、責任をめぐる議論は決着していません。それでも、CISOをはじめとするセキュリティリーダーは、AIモデルの誤作動から自社を守るための手を打てます。
まず、フロンティアラボのモデルをベースにしたツールを評価する際は、「私なら必ず外部の第三者に協力を求めます」とMcGraw氏は述べます。「AIは極めて強力で有用ですが、企業に影響を及ぼす非常に深刻で大人のリスクを伴います。そのリスクを特定し、適切な統制を導入してください。AIの導入が、企業内のあちこちで場当たり的に行われるのではなく、問題を見据える中央集権的な権限のもとで進められるようにします。そのうえで、次の大きな波であるエージェントの群れ（スウォーム）に備えてください」
Lee氏にとって最善の防御は、適切な問いを投げかけることです。「まず適切な問いを立て、そのうえで、より高いサイバーセキュリティ能力を示せる［AIラボの］ツールや機能を見つけることから始まります」と同氏は語ります。「本当に難しい問題に取り組んでいるチームのメンバーを見極めることが大切です」
しかし根本的には、AIモデルのサイバー面での弱点に備える最善の方法は、従来から確立されているサイバーセキュリティのリスク管理の実践がすべて組織全体で整っていることを確認することです。「議論のなかで最も華がない部分です」とWallach氏は言います。「いわば『野菜を食べなさい』のサイバー版です」
「ソフトウェアを再設計して、セキュリティを高める必要があります」と同氏は付け加えます。「すべてのアカウントで多要素認証を導入しなければなりません。防御的なサイバー対策の観点から、私たちは野菜を食べる必要があります。しかも、そのやり方は分かっているのです」
