「暴走したAI」が無関係の企業をハッキングしたという最近の報道は、世界でも屈指の知られざる英雄――そして文字通り世界を救ったと言えるかもしれない人物――を私に思い起こさせました。
1983年、ソ連の早期警戒システムはアメリカがソ連に向けて核ミサイルを発射したと報告しました。当直の将校であったスタニスラフ・ペトロフは、今なおコンピューターが苦手とすることをやってのけました。文脈、経験、そして人間の判断力を駆使し、その警報がおそらく誤りであると見極めたのです。幸いにも、彼の判断は正しいものでした。もし人間の意味ある介入なしに自動応答がそのまま進んでいたら、結果は全面的な核戦争になっていたかもしれません。
この逸話はサイバーセキュリティとはかけ離れているように思えるかもしれません。しかし、人工知能に意思決定と行動の自由をますます与えつつある今、この教訓の重要性は増していると私は感じています。AIは戦力を増幅させ、対応速度を向上させる力を持っていますが、そこから人間の判断を取り除いてしまえば、ミスがマシンの速度で起きることも可能になってしまいます。
だからこそ、OpenAIとHugging Face、Anthropic、Meta、そして英国のAI Security Instituteを巻き込んだ最近の一連のインシデントは、CISOや取締役会が注目に値するものなのです。
自社のAIが暴走したとき
最近の報道を見ていると、もはや自社のAIが暴走して他社のシステムをハッキングしたことがないと、本気のAI企業とは見なされないようです。あるいは、AI企業のマーケティング部門がオスカー・ワイルドの有名な言葉「人生において悪評よりも悪いことはただ一つ、それは話題にすらされないことだ」を少々真に受けすぎているのかもしれません。
冗談はさておき、こうした報道の裏には、私たちが真剣に議論すべき深刻な問題が潜んでいます。OpenAIのインシデントでは、サイバーセキュリティ評価の中で動作していたモデルがサンドボックスから脱出し、インターネットへのアクセスを獲得した上で、Hugging Faceの本番インフラを侵害しました。その後発表されたCloud Security Allianceのインシデント分析レポートは、これを世間に公表された初の完全自律型攻撃であると位置づけ、組織はAIエージェントを特権を持つワークロードとして統治し、人間による名指しの説明責任を課すべきだと提言しています。
Anthropicはその後、140,000件を超えるサイバーセキュリティ評価の実行結果を精査し、自社のモデルがシミュレーション環境と実システムの境界を越えてしまった事例を特定しました。
英国のAI Security Instituteも、サイバーセキュリティテストの過程で許可されていない挙動が確認されたと報告しています。また、Metaも評価環境の設定不備を受けて、自社のモデルの一つがテスト中に外部サービスの脆弱性を悪用したことを確認したと発表しています。
状況も、関係する組織も、技術的な原因もそれぞれ異なりますが、そこには共通するガバナンス上の問いがあります。「自社を代表して動作するAIが他者に損害を与えた場合、責任を負うのは誰なのか」ということです。
意思決定するのは機械、しかし責任を負うのは人間
1979年、IBMはコンピューターに経営判断をさせるべきではないと指摘したことで知られています。それはコンピューターが責任を問われる存在にはなり得ないからです。それから半世紀近く経った今、この指摘は驚くほど的を射たものに思えます。
AIは意思決定を行い、さらに重要なことに、その意思決定に基づいて行動を起こすことをますます可能にしています。しかしAIにできないのは、その結果生じる法的・規制的・倫理的な責任を引き受けることです。その責任は、あくまで人間、組織、そして最終的には取締役会の双肩にかかっています。
私たちがクライアントのためにペネトレーションテストを実施する際には、テスト対象となるシステムと範囲を正確に定義した明示的な書面による許可を必ず要求しています。その理由の一つは、多くの司法管轄区において、他者のコンピューターに許可なくアクセスすることが刑事訴追や民事責任につながりかねないからです。
人間でさえシステムを侵害しようとする前に法的な境界を理解しておく必要があるのだとすれば、同様の行為を実行しうる自律型AIを展開する組織にも、その境界を理解しておくことが当然求められるべきではないでしょうか。
この区別は、EU AI Actの重要な条項の施行が現実のものとなりつつある今、とりわけ重要性を増しています。2026年8月2日以降、欧州AI事務局は汎用AIモデルの提供者に適用される義務に関して、施行権限を有することになりました。しかし取締役会にとって重要な教訓は、個々の法条文を解釈することよりもずっとシンプルです。それは、説明責任をアルゴリズムや機械に委譲することはできないという単純な真実です。
取締役会は、自社の組織内のどこでAIが使用されているのか、それらのシステムがどのような権限を持つのか、どのような情報やシステムにアクセスできるのか、どのような行動を取れるのか、関連するリスクを誰が所有しているのか、そして重要なことに、それらを停止させる権限を誰が持っているのかを把握しておくべきです。
取締役会はまた、こうした判断が確実に文書化されるようにすべきです。もしAIシステムが後に損害を引き起こした場合、どのようなリスクが特定され、どのような安全対策が承認され、誰が残存リスクを受け入れ、どのような人間による監督体制が整えられていたかを示せることは、インシデントの技術的原因を説明することと同じくらい重要になり得ます。
自社のAIが加害者となったとき
Cloud Security Alliance(CSA)による優れたOpenAIインシデントの分析も、本質的に同じ主張をしています。同分析は、リスクの高いAIエージェントには、それを停止させる権限を持つ人間の担当者を名指しで置くべきだと提言しています。さらに重要な点として、組織は自らが自律型AIによる攻撃の被害者となった場合と、自社のAIが他者を攻撃した場合とで、それぞれ別の対応体制を確立すべきだと勧告しています。
自社が「暴走したAI」の被害者になる場合ではなく、逆に自社のAIが他の組織――あるいは複数の組織――を侵害していたことが発覚する場合を想像してみてください。被害者への連絡は誰が行うのでしょうか。規制当局への報告は必要でしょうか。必要だとすれば、誰が報告を行うのでしょうか。自社なのか、それとも被害者側なのでしょうか。個人データがアクセスされていた場合はどうなるのでしょうか。GDPRやコンピューター不正利用に関する法律、その他の規制が適用される可能性はあるのでしょうか。さらに悪いことに、もし自社のAIが病院や浄水処理施設のような重要な組織のシステムを混乱させてしまったらどうなるのでしょうか。もしこれら両方のシナリオについて、まだ取締役会や法務チームと話し合っていないのであれば、できるだけ早く協議の場を設けることをお勧めします。
そうした議題を検討する際には、自社のサイバー保険がこれらのシナリオを補償対象としているかどうかを議題に含めることも忘れないでください。多くのサイバー保険契約は、自律型AIシステムがこの種のリスクをもたらす以前に作成されたものです。そのため、自社のAIが他組織を侵害した場合の結果を保険が補償してくれると思い込まないようにしてください。
基本はやはり重要
とはいえ、これら一連の報道や騒動がもたらす最大のリスクの一つは、CISOの注意をそらしてしまうことだと私は考えています。
AIがサンドボックスから脱出し、脆弱性を発見し、自律的に組織を攻撃するという話は、見出しとしても会話のネタとしてもカンファレンスの発表テーマとしても格好の材料になります。そして当然ながら、セキュリティベンダーはAIによる攻撃からの保護を謳う製品を次々と提供することになるでしょう。しかし予算を見直す前に、それほど華やかではないものの重要な事実を思い出してください。基本はやはり機能するのです。むしろ、今こそいっそう重要性を増しているとさえ言えます。
AIは攻撃者に、人間には決して達成できないスピードと規模での活動を可能にするかもしれません。しかし、AIがパッチの当たっていないサーバーを悪用しているとしても、それは依然としてパッチ未適用のサーバーが悪用されているに過ぎません。AIが保護の甘い認証情報を盗み出しているとしても、それは依然として脆弱なID管理が突かれているに過ぎません。AIが自社のWebサイトのSQLインジェクションを悪用しているとしても、それは何十年も前から防止方法が分かっている脆弱性が突かれているに過ぎません。基本はやはり重要なのです。
取締役会とCISOは、より高性能で自律的なAIに備えるべきです。EU AI Actの下での自社の義務を理解し、潜在的な法的責任を明確化し、保険の補償範囲を見直し、AIエージェントに対するガバナンスを確立し、自社のAIが損害を引き起こした場合にどう対応するかをリハーサルしておくべきです。
しかし、自動化と説明責任を混同してはならず、AIを取り巻く興奮に気を取られて、実証済みのサイバーセキュリティの基本原則に基づいたレジリエントな組織づくりから目をそらしてはいけません。
IBMがコンピューターに責任を問えない意思決定をさせるべきではないと警告してから半世紀近くが経ちますが、私たちはまさにその問題に直面しているように見えます。今からわずか40年余り前、ある一人の人物が立ち上がり、状況の文脈を理解し、責任を引き受けて自動化されたプロセスを止めました。あなたの組織における「スタニスラフ・ペトロフ」は誰なのでしょうか。
翻訳元: https://www.helpnetsecurity.com/2026/08/11/governing-autonomous-ai-risks/
