ヒヤリハットの届け出を義務づけるという構想は、AI分野のルールを大きく変える可能性があります。
英金融行為監督機構（FCA）の最高データ責任者（CDO）ジェシカ・ルス氏は月曜日、企業は「AIの重大な障害やヒヤリハット」を報告するよう義務づけられるべきだとの考えを示しました。企業のAI導入に何らかの規制を求める声が、さらに高まる形です。
ただ、この講演からは、エージェント型AIや生成AIの展開を止められない規制当局のもどかしさもうかがえます。エージェントの不適切な挙動や、実効性のある責任追及が行われない状況が、驚くべき頻度で報じられ続けているためです。
ルス氏はBloomberg UK Policy Seriesの聴衆に向けて講演し、企業はサイバー面と運用面のレジリエンス（回復力）にもっと投資する必要があると述べました。
「現行の規則でも、企業に重大インシデントの報告を求めています。この対象はAIの重大な障害やヒヤリハットにも広げなければなりません。AI担当大臣も認めているように、エージェント型AIのヒヤリハット報告は国家安全保障上の優先課題になりつつあります。規制上も優先事項です」とルス氏は述べました。「保証（アシュアランス）の考え方も改める必要があります。導入時点では安全なシステムでも、規模が拡大したときや負荷がかかったとき、あるいは基盤となるモデルが変わったときには、挙動が変わるかもしれません。そのためエージェント型システムには、継続的かつ条件付きの保証が求められます」
ルス氏は続けて、「FCAは業界や他の規制当局、フロンティアラボと協力し、エージェント型ファイナンスのための信頼できる枠組みを策定します。エージェントのID、委任された権限、説明責任、実行についての明確なアプローチも盛り込みます」と述べました。
この講演を受けて浮上した疑問の一つが、「AIの重大な障害やヒヤリハット」が具体的に何を指すのかという点です。FCAに用語の定義を問い合わせましたが、掲載時点で回答はありませんでした。
AIの障害とヒヤリハットの違い
セキュリティ企業Malwarebytesのマルウェアインテリジェンス研究者、ピーター・アーンツ氏は、これらの用語が意味するところについて自身の見解を示しました。
「AIの重大な障害とは、単に誤った回答をすることではなく、深刻な結果を招くものを指します。金融サービスなら、AIシステムが多額の不正支払いを承認する、顧客の機密情報を漏えいさせる、顧客が不可欠な金融サービスを利用できなくなる、市場の健全性を脅かす取引を引き起こす、といったケースが考えられます」とアーンツ氏は述べました。「判断の基準は、障害が技術的に派手かどうかではなく、影響の規模と深刻さであるべきです」
一方、ヒヤリハットについては次のように説明しています。「AIのヒヤリハットとは、現実に深刻な被害を招きかねなかったものの、被害が出る前に食い止められた事象です。たとえば、AIエージェントが不正な送金を試みても、別の承認統制がそれを阻止した場合があります。プロンプトインジェクション攻撃で機密情報を開示させられそうになっても、外向きのセキュリティ統制が開示を止めた場合もそうです」
ただしアーンツ氏は、最終的な罰則が軽いものにとどまれば、ルス氏の方針にはリスクがあると警告します。「報告書を提出し、予想できる範囲の罰金を受け入れれば済むのであれば、張り子の虎になる恐れがあります」と話しました。
さまざまな方面から出る警告
英国を拠点とするGartnerのVPアナリスト、ネイダー・ヘネイン氏は、FCAの提案の意義には懐疑的だと述べました。理由の一つは、英国の多くの企業がすでにEU規制への対応を迫られており、そのEU規制がこうした情報開示を企業に求め始めていることです。
「イングランド銀行（BoE）やアラブ首長国連邦（UAE）中央銀行、シンガポール金融管理局など、金融当局はすでに警告を発しています」とヘネイン氏は述べました。「数カ月前には、欧州の中央銀行が欧州システミックリスク理事会（ESRB）とともに、フロンティアモデルに関するサイバーリスクの評価水準を『深刻』に引き上げ、複数のサイバーインシデントが同時に起きれば金融セクターに影響しうると警告しました。AIを使ったサイバーインシデントが金融セクターの根幹の安定を脅かすようになっていることを、彼らは認めたのです」
ヘネイン氏は、とりわけ金融セクターで意味のある変化が起きるかどうかには懐疑的だと語りました。
「金融機関は、事業を続けられるかどうかを左右する規制当局の警告には耳を傾けます。しかし、明確な法律や規制上の監督、強制力のある罰金がなければ、ばらばらに出される声明が状況を変えることはなさそうです」と述べました。
「誤った行動を促す」恐れも
Digital 520のプリンシパルコンサルタント、ノア・ケニー氏は、可視化の要件が強まることで、意図せず誤った行動を促しかねない点を一つのリスクに挙げました。
「監視が行き届いた銀行は、AIエージェントが権限外の行動を取ろうとした試みを数百件も捕捉するかもしれません」とケニー氏は述べました。「一方、監視が不十分な銀行は、そもそも検知できないので報告件数がゼロになるかもしれません。書面上は、より安全な銀行のほうが悪く見えてしまいます。レッドチーム演習でモデルが失敗するのは、テストが機能している証拠であり、規制上のインシデントではありません」
これに対し、Dickson Researchのプリンシパルアナリスト、フランク・ディクソン氏は、ヒヤリハットという発想こそ、議論を変える可能性が最も大きいと述べました。
「ヒヤリハットという考え方は気に入っています。この講演で最も重要な点です。金融機関にとっては、最も備えができていない部分でもあります」と話しました。
ディクソン氏はさらに、こう強調しました。「ルス氏は、単一のモデルへの依存についても警告しています。顧客対応チャネルを止めてしまうAIサプライヤーの障害も、対象に含まれます」
特定のモデルに依存することには、別の懸念もあります。AIベンダーが顧客全員に知らせずにモデルを変更しかねないというリスクが、常につきまとうことです。
「3月にテストを通過したモデルが、5月には不適切な挙動をする場合があります。提供元が裏でモデルを変更すれば、社内の誰もコードを1行も変えていなくても起こりえます」とディクソン氏は述べました。「モデルのバージョン変更は、他の本番環境の変更と同じ水準で精査すべきです」
この記事は、もともとCIO.comに掲載されたものです。
