ヒヤリハットの届け出を義務づける構想は、AIをめぐる規制のあり方を変える可能性があります。
英金融行動監視機構（FCA）のチーフデータオフィサー、ジェシカ・ルス（Jessica Rusu）氏は月曜日の講演で、英国企業に「重大なAIの障害およびヒヤリハット」の報告を義務づけるべきだと訴えました。企業のAI導入に何らかの規制をかけるよう求める声が高まるなか、同氏の発言はそれをさらに後押しするものです。
一方、この講演からは、エージェント型AIや生成AIの導入が止まらない現状を前に、規制当局が抱くもどかしさも浮かび上がりました。エージェントの不適切な挙動と、それに対する実効性のある責任追及の欠如は、依然として驚くほどの頻度で報告されているためです。
ルス氏はBloomberg UK Policy Seriesの聴衆に向けて講演し、企業はサイバー面と運用面のレジリエンス（回復力）にもっと投資する必要があると述べました。
「当局の規則は、すでに企業に重大インシデントの報告を求めています。その対象は、重大なAIの障害やヒヤリハットにも広げなければなりません。AI担当大臣も認めているとおり、エージェント型AIのヒヤリハット報告は国家安全保障上の優先課題になりつつあります。規制の面でも優先事項です」と、ルス氏は語りました。「保証（アシュアランス）の考え方も改める必要があります。導入時点で安全だったシステムでも、規模が拡大したときや負荷がかかったとき、あるいは基盤となるモデルが変わったときには、挙動が変わる可能性があります。したがって、エージェント型システムには、継続的かつ条件付きの保証が必要です」
ルス氏はさらに、「FCAは業界、他の規制当局、フロンティアラボと協力し、エージェント型金融のための信頼できる枠組みを構築します。そこには、エージェントの識別、権限委譲、説明責任、実行についての明確な考え方も含まれます」と述べました。
この講演では、「重大なAIの障害およびヒヤリハット」とは具体的に何を指すのかという疑問も浮上しました。FCAに用語の説明を求めましたが、掲載時点で回答はありませんでした。
AIの障害とヒヤリハットの違い
これについて、セキュリティ企業Malwarebytesのマルウェアインテリジェンス研究者、ピーター・アーンツ（Pieter Arntz）氏が、これらの用語が意味するところについて独自の見方を示しました。
「重大なAIの障害とは、単に誤った回答を出すことではなく、深刻な結果を招くものです。金融サービスなら、AIシステムが多額の不正送金を承認する、機密性の高い顧客情報を漏えいさせる、顧客が不可欠な金融サービスを利用できなくなる、市場の健全性を脅かす取引を引き起こす、といったケースが考えられます」とアーンツ氏は述べました。「判断基準とすべきは、技術的に派手な失敗に見えるかどうかではなく、影響の規模と深刻度です」
一方、ヒヤリハットについては次のように説明しています。「AIのヒヤリハットとは、現実に深刻な被害をもたらし得たものの、被害が出る前に食い止められた事象です。たとえば、AIエージェントが無許可の送金を試みたものの、別の承認統制によってブロックされた場合があります。プロンプトインジェクション攻撃で機密情報を開示させられそうになったものの、出力側のセキュリティ統制が開示を止めた場合も該当します」
ただしアーンツ氏は、最終的な罰則が弱ければ、ルス氏の構想にはリスクがあるとも指摘しました。「報告書を提出して、予想どおりの罰金を支払えば済むというコンプライアンスになれば、張り子の虎になりかねません」
さまざまな方面から出る警告
英国を拠点とするGartnerのバイスプレジデントアナリスト、ネイダー・ヘネイン（Nader Henein）氏は、FCAの提案の意義には懐疑的だと述べました。理由の一つは、英国企業の多くがすでにEUの規制への対応を迫られており、そのEUの規制では同様の開示を企業に求め始めているためです。
「イングランド銀行（BoE）、アラブ首長国連邦中央銀行、シンガポール金融管理局など、金融当局はすでにそろって警告を出しています」とヘネイン氏は語りました。「数か月前には、欧州の中央銀行が欧州システミックリスク委員会（ESRB）とともに、フロンティアモデルに関連するサイバーリスクの評価レベルを『深刻』に引き上げ、複数のサイバーインシデントが同時に発生すれば金融セクターに影響が及び得ると警告しました。AIを起点としたサイバーインシデントが、金融セクターの安定の根幹を脅かすことを認めたのです」
ヘネイン氏は、とりわけ金融セクターで意味のある変化が起きるかどうかについて懐疑的だと述べました。
「金融機関は、事業を続けられるかどうかを左右する規制当局の警告には耳を傾けがちです。しかし、明確な法律や規制当局による監督、強制力のある罰金がなければ、こうしてばらばらに出される声明が状況を変える可能性は低いでしょう」と同氏は語りました。
「誤った行動を助長」する恐れも
Digital 520のプリンシパルコンサルタント、ノア・ケニー（Noah Kenney）氏は、可視性を高めるこの要件には、意図せず誤った行動を助長しかねないというリスクがあると付け加えました。
「監視体制が整った銀行は、AIエージェントが権限外の行動を取ろうとした試みを何百件も検知するかもしれません。監視が不十分な銀行は、そもそも気づかないので、報告はゼロかもしれません。書類上は、安全な銀行のほうが悪く見えてしまいます。モデルがレッドチームのテストで失敗するのは、テストが機能している証拠であり、規制上のインシデントではありません」と同氏は語りました。
一方、Dickson Researchのプリンシパルアナリスト、フランク・ディクソン（Frank Dickson）氏は、ヒヤリハットという考え方こそ議論を変える可能性が最も高いと述べました。
「ヒヤリハットという発想は素晴らしいと思います。この講演で最も重要な点であり、金融機関の準備が最も整っていない部分でもあります」と同氏は語りました。
ただしディクソン氏は、こう強調しました。「ルス氏は、単一のモデルへの依存についても警告しています。顧客対応チャネルを停止させるようなAIサプライヤーの障害も、対象に含まれます」
特定のモデルに依存することには、別の懸念もあります。AIベンダーが、すべての顧客に知らせないままモデルを変更するおそれが常にあることです。
「3月のテストに合格したモデルが、5月におかしな挙動をすることがあり得ます。社内の誰もコードを1行も変えていなくても、プロバイダーが裏側でモデルを変更したためです」とディクソン氏は語りました。「モデルのバージョン変更も、他の本番環境の変更と同じ厳しさで精査すべきです」
この記事はもともとCIO.comに掲載されたものです。
