AIのキルスイッチだけでは不十分。フォールバック計画を構築せよ

オピニオン

2026年11月13日8分

AIエージェントを止めるのは簡単です。難しいのは、止めた直後の1分間、自社の事業を何で動かすかです。

9月3日の朝、ChatGPT、Claude、Grokが数時間のうちに相次いでダウンしました。OpenAIはルーティングエラー、Anthropicはインフラ上の問題を原因に挙げましたが、xAIは原因を明らかにしませんでした。サービスは昼過ぎまでに復旧し、報道の多くは、午前中に執筆やコーディング、調査ができなくなった人々に焦点を当てていました。

私の見方は違います。セキュリティ責任者にとって重要なのは、どのプロバイダーが障害を起こしたかではありません。障害が起きたとき、自社の業務のうちいくつに代替の手段があったか、という点です。

その2カ月前には、これとは逆の失敗が起きていました。止まってほしくないときに止まるAIではなく、誰もが止めたいときに動き続けるAIです。OpenAIの評価用エージェントは、遮断されるまで約2日半にわたってHugging Faceのインフラ内部に居続けました。Hugging Face自身がまとめた時系列は、一行ずつ読む価値があります。アラートは「重大度を正しく引き上げることに失敗」し、エージェントは自己再生成するフリートを運用していたため、「Podを削除するだけでは止められなかった」というのです。

2つのインシデントは方向こそ逆ですが、教訓は同じです。AIを止めることは、AIの障害を想定して設計することよりも難しいのです。

これまで業界が出してきた答えがキルスイッチです。マイクロソフトのCEOであるサティア・ナデラ氏は、10月10日のXへの投稿で、タスクの途中でも人間がモデルを止められる緊急ブレーキの必要性を訴えました。議員の間でも、その導入を義務づける提案が出ています。CSOのAIエージェントのキルスイッチに関する特集も、運用しているエージェントを把握する、その挙動を監視する、確実に停止できる手段を確保するといった、理にかなった手順を示しています。私もそのすべてに賛成です。しかし、こうした議論はどれも、スイッチを切った時点で終わっています。私がより重要だと考える問い、つまり「代わりに何が動くのか」には、どれも答えていません。

引くことが許されないキルスイッチは、引かれない

業務プロセスにエージェントを導入しているチームには、次のシナリオを突きつけたいと思います。机上演習として試してみてください。

四半期決算の最終日、午後4時です。ERPシステム内で仕入先の請求書を仕分けるエージェントが、本来は審査に回すべき支払いを承認し始めます。まだ致命的な事態ではなく、おかしいと感じる傾向が現れた程度です。セキュリティ運用チームはそれに気づきました。キルスイッチは存在し、正常に機能します。

ここで、会議室で何が起きるかを見てみましょう。経理部門は、キューに残っている数千件の請求書をどうするのかと尋ねます。調達部門は、仕入先への支払いが期日どおりに行われるのかを気にします。直近1時間にエージェントが行った操作のうち、どれが正当で、どれを取り消す必要があるのかと問う人も出てきます。誰にも答えられません。停止状態を設計した人がいないからです。やがて議論は、この挙動は決算作業を止めるほど深刻なのか、という点に移ります。人々が議論を続けるあいだ、スイッチは上がったままです。

私が最も懸念している失敗のパターンがこれです。キルスイッチがないわけではありません。引くコストが大きすぎるために人々がためらい、マシンの速度で動くエージェントはそのためらいの代償を払わせます。Hugging Faceのチームに、行動する意志が欠けていたわけではありません。シグナルが行動できる人に届かず、さらに戦っている相手が自らを再構築し続けたために、時間を失ったのです。企業のチームが時間を失う理由は、もっと平凡です。エージェントなしでは事業が回らないため、止めることが自らの手で障害を起こすように感じられるのです。

ニュースレター

CSOのニュースレターでセキュリティを強化

最新の脅威、リスク、セキュリティ戦略に関する重要な情報で、企業を守りましょう

解決策は、より優れたスイッチではありません。スイッチを安価に引けるようにすることです。そのためには、AIを使う経路を設計する前に、AIを使わない経路を設計しておく必要があります。

フォールバックに求められること

私はこの問題について長年考えてきました。2020年には、PayPalが特許を取得したシステムフェイルオーバー時の冗長性を確保するフォールバック人工知能システムを共同で発明しています。前提は単純です。事業が依存する判断をAIシステムが下しているなら、そのシステムが故障したときにも、許容できる判断を下し続けられる仕組みが事業に必要だということです。このアイデアは時代を経ても色あせていません。その後、10件を超える特許出願で先行技術として引用されており、今年6月にCognizantが公開した、AIの実行を選択的に切り離す特許もその1つです。これは、キルスイッチの問題を別の名前で呼んだものにほかなりません。

この設計に含まれる4つの原則は、当時想定していたモデルよりも、エージェントに対してさらに有効です。

  • フォールバックはプライマリから学習すること。 稼働初日に書いた静的なバックアップは、置き換えるはずのシステムから徐々に乖離します。この設計では、本番システム自身の入力と判断を使ってフォールバックを継続的に学習させ、追従させます。エージェントの場合は、AIを使わない運用手順書を、稼働開始時ではなく、エージェントが現在実際に行っていることに合わせて最新に保つことが相当します。
  • フォールバックは同じ契約の背後に置くこと。 切り替える前に上流のシステムがサービスの呼び出し方を変えなければならないのでは、素早く切り替えられません。フォールバックは同じAPIで応答するように設計され、呼び出し側はどのシステムが応答しているかを意識する必要がありません。
  • 縮退モードはより狭いモードにすること。 フォールバックが稼働している間は、より厳格なポリシー層が承認できる範囲を制限します。より単純なシステムがプライマリと同じ権限を持つのは、悪用してくださいと言っているようなものです。エージェントから人間のキューに処理が移る場合も同様で、上限額を下げ、承認の段階を増やします。
  • フォールバックは稼働前に自らの能力を証明すること。 この設計では、本番の判断と合意した精度のしきい値で一致して初めて、フォールバックが稼働できます。誰もテストしていないフォールバックは、フォールバックではありません。ただの願望です。

今日、フォールバックファーストで構築するなら

明日、エージェントの導入をレビューするとしたら、稼働前に次の5点を見せてもらいます。

  1. エージェントのワークフローごとの「償却済み」状態。 エージェントが止まったとき、新規の作業、キュー内の作業、処理中の作業はどうなるのでしょうか。引き継ぐルールエンジン、人間のキュー、または先送りの仕組みを明示し、それを承認する責任者を指名します。正直な答えが「プロセスが止まる」であれば、インシデントの最中に気づくのではなく、稼働前に事業部門がそれを書面で受け入れておくべきです。
  2. エージェントの外側にあり、ID に対して作用するスイッチ。 Hugging Faceの事例は、再生成できるものはプロセスを終了させても止まらないことを示しました。持続的に機能する停止手段は、エージェントが存在を許されている根拠、つまりトークン、認証情報、ツールの権限を取り消します。モデルの外側に置く制御を求めるナデラ氏の主張も、この点にあります。実際には、すべてのエージェントに固有のIDを持たせ、それを取り消しても他に影響が及ばない程度に権限を絞り込む必要があります。
  3. 処理中の作業のためのチェックポイント。 タスクの途中で止められたエージェントは、中途半端な作業を残します。どの操作が完了したかを判別できるように設計し、それぞれに取り消すための補償アクションを用意してください。それがなければ、停止のたびにフォレンジック調査が必要になり、人々が停止を避けるのはまさにそのためです。
  4. 縮退中はより厳格なポリシーを適用すること。 フォールバックの稼働中にどのような制限を課すか、事前に決めておきます。承認のしきい値を下げ、自動化された操作を減らし、人間によるレビューを増やします。こうした内容を公開し、縮退したサービスがどのようなものかを、実際にそうなる前に事業部門が把握できるようにします。
  5. 定期的な引き継ぎ訓練。 営業時間中に、スケジュールに沿って意図的にスイッチを切ります。2つの数字を測定します。安全な状態に到達するまでの時間と、フォールバックが吸収するまでに積み上がる未処理分の量です。その数字が事業部門を不安にさせるなら、当日であれば高くついたはずの教訓を、安く手に入れたことになります。

どれも特別なことではありません。データベースやデータセンターに対して、すでに私たちが当然のように求めていることです。災害復旧計画と、実際に訓練したフェイルオーバーなしで決済システムを運用する人はいないでしょう。それなのにエージェントは、誰も引いたことのないスイッチだけを後ろ盾に、業務ワークフローへ投入されています。AIにおけるレジリエンスは、AIがなくなったときに何が起きるかを知ることから始まります。

9月3日の障害もHugging Faceへの侵入も、どちらの種類の失敗についても、最後にはならないでしょう。必要なときにAIシステムが止まる、あるいは止めたいときに動き続けるという事態が次に起きたとき、最も早く復旧できるのは、最高のキルスイッチを持つ組織ではありません。停止状態を先に設計し、スイッチを安価に引けるようにした組織です。

AIを止めるのは統制です。AIなしで動かし続けるのは設計です。まず設計から始めましょう。

Vijayent Kohli氏は、Ford Motor Companyのプリンシパル・サイバーセキュリティ・エンジニアで、エンタープライズ規模のワークロード向けに、AIセキュリティシステム、ゼロトラスト基盤、自動化された脆弱性管理を設計しています。Nokia Siemens Networks、Oracle、PayPal、Microsoft、Fordにわたり、レジリエントでアイデンティティ中心のセキュリティを10年以上構築してきた経験を持ち、AIセキュリティアーキテクチャに関して、実務者ならではの深い知見を備えています。

同氏は、AIフェイルオーバーアーキテクチャに関する米国特許(US 11,568,253 B2)を取得しており、サイバーセキュリティとAIセキュリティ分野についてIEEEで研究を発表しています。IEEEシニアメンバーであり、Northwestern UniversityでMaster of Engineering Management、インドのBITS PilaniでMaster of Engineering in Computer Scienceを取得しています。

翻訳元: https://www.csoonline.com/article/4247929/an-ai-kill-switch-isnt-enough-build-a-fallback-plan.html

本記事は csoonline.com の記事を翻訳・要約したものです。