今回のHelp Net Securityのインタビューでは、VeeamのField CTOを務めるEdwin Weijdema氏に、EU AI法第50条と施行1年目に何が起こり得るかについて聞きました。
同氏は、是正命令が高額な罰金を上回るとみられる理由や、チケットキューを処理するAIエージェントが「人と対話している」と見なされるのはどのような場合か、クローン音声を使ったフィッシングシミュレーションをセキュリティチームがどう扱うべきかについて解説しています。さらに、最初の摘発事例がどこから始まる可能性が高いか、そしてクライアントが繰り返し尋ねながらもまだ明確な答えが出ていない「説明責任」の問題についても見解を示しています。
第50条違反には最大1,500万ユーロ、または全世界売上高の3%という制裁金リスクが伴います。1年目として現実的なリスクの規模はどの程度でしょうか。金銭的な制裁を予想しますか、それとも是正命令や撤回要求が中心になるとお考えですか。
NIS2やGDPRなど他のEU規制でも見られたように、罰金を含む実際の執行は加盟各国に委ねられており、手続きも国ごとに異なります。そのため、1年目にどの程度のリスクや制裁が生じるかを正確に予測するのは難しいところです。
とはいえ、新しい規制における罰則の1年目は、いわば「慣らし期間」として扱われることが多いのも事実です。この施行初年度に見られる是正命令の件数は、大規模な金銭的制裁の件数を大きく上回る可能性が高いでしょう。特に、真摯にコンプライアンス対応に取り組んでいる組織であればなおさらです。規制当局は判断にあたり、比例性、影響の規模、違反が意図的か過失によるものか、組織がどれだけ迅速に協力したか、そして違反発生時点で基本的なガバナンス体制がすでに整っていたかどうかを重視するとみられます。
とはいえ、規制当局が本気であることを示すために、大きな見出しを飾るような制裁金が1件か2件出ることもよくあります。ただし、そうした事例が出るとしても、1年目に発生するとは考えにくいでしょう。むしろ1年目においては、実務上のリスクは金銭面よりも運用面で大きくなる可能性があります。組織にとっては、AIを活用したプロセスの停止、再ラベル付け、変更、撤回を迅速に命じられることのほうが、制裁金を科されるよりもはるかに大きな混乱を招きかねません。
1年目の大きなリスクは制裁金ではなく、コンプライアンスを証明できるまでシステムの使用停止を命じられることになるでしょう。
エージェント型システムは、チケットキューや共有受信箱、サプライヤーの調達ポータルなどを通じて間接的に人と関わります。こうした関わり方のうち、どれが自然人との「直接的な対話」に該当するのでしょうか。また、クライアントに対して、自社のエージェントが気づかぬうちに一線を越えていたと伝えなければならなかった経験はありますか。
EU AI法において、対話が行われる経路そのものは決定的な要素ではありません。チケットキュー、共有受信箱、調達ポータルであっても、それだけで自動的に「人との直接対話」に該当するわけではありませんが、該当し得る場合もあります。重要なのは、AIシステム自体が自然人と直接コミュニケーションを取っているのか、それとも実質的な確認・管理を行う人間の仲介者が存在するのか、という点です。
同法の規定上、透明性義務が適用されるのは、人がAIシステムと対話しており、AIと関わっていることを知らされる必要がある場合です。ただし、状況からそれが明らかである場合はこの限りではありません。したがって、AIが返信の下書きを作成し、人間がそれを確認して送信する場合と、AIエージェントが顧客・サプライヤー・従業員に対して自律的に返信する場合とでは、リスクの性質がまったく異なります。後者は、チャットボットの画面ではなくチケットシステムや調達ポータルを介していたとしても、直接的な対話に近いものと見なされ始める可能性があります。
そのため企業は、社内向けエージェントと顧客対応エージェントを明確に切り分け、役割に応じて適切な障壁を設けるという意図的な選択をする必要があります。そして、そうしたアクセス制御やプライバシー保護は、エージェントだけでなく組織全体に一貫して適用されるべきものです。そうして初めて、意図しないアクセスを防ぐことができます。エージェントに「この部屋には入るな」と伝えるだけでは不十分で、実際にドアに鍵をかける必要があるのです。
結局のところ、EU AI法が問題視するのは、対話がチャットボットの画面で行われるかチケットキューで行われるかではありません。人間が実質的に機械を相手にしているかどうかが問われているのです。
セキュリティチームはフィッシングやビッシングの模擬訓練を実施することがあり、時には経営幹部の声をクローンすることもあります。しかし、その訓練素材にラベルが付いていると訓練自体が成立しなくなります。こうしたチームにどのような助言をしていますか。また、その立場を正当化するために社内文書にはどのような内容を含める必要がありますか。
この種の訓練は、EU AI法の透明性要件から自動的に除外されるわけではなく、組織はそう思い込むべきではありません。AI生成のフィッシングメールやクローン音声にラベルを付けることへの抵抗感があるのは理解できます。テストであることをほぼ公言するような目立つ印が付いていては、訓練としての意味が薄れてしまうからです。
ただし、経営幹部の声をクローンする行為は特に注意が必要です。AIを使って実在の人物が実際には言っていないことを言ったように見せかける場合、それは容易にディープフェイクの状況になり得ます。セキュリティ目的であることが自動的に免除事由になるわけではなく、「開示しない方が訓練としてうまくいく」という理由だけでは、コンプライアンス上の正当化にはなりません。
したがって、組織がこうした訓練でAI生成要素にラベルを付けないと決定する場合は、その判断の法的根拠とリスクを慎重に評価したことを示せるようにしておくべきです。今後のベストプラクティスとしては、セキュリティチームは少なくとも法務・コンプライアンス部門を早期に関与させ、その判断根拠を文書化することを推奨します。また、実在の従業員の声・映像・肖像を使用する訓練では特に、プライバシー部門や人事部門、さらに該当する場合は労使協議会や従業員代表の意見も取り入れるべきでしょう。
ただし、多くの場合、架空の人物像の使用、実在の従業員を模倣しない合成音声の使用、模擬訓練で合成メディアが使われる可能性がある旨の事前の一般通知、訓練直後の速やかな開示といった代替手段の検討を勧めます。目標は、社内で無断の経営幹部なりすましを常態化させることなく、訓練のリアリティを維持することです。
文書には、訓練の目的、範囲、使用したAIツール、実在の人物を模倣したかどうか、どのような開示がいつ行われたか、どのような個人データが処理されたか、そのアプローチがなぜ必要かつ比例的であったか、どのような保護措置が講じられたか、そして訓練後に従業員へどのような説明が行われたかを示せるようにしておく必要があります。
この種の訓練を担当するセキュリティチームに私が普段伝えているのは、「セキュリティ上の目的があるからといって、無開示のディープフェイクが魔法のようにコンプライアンス上問題のないものに変わるわけではない。CEOの声をクローンしなければテストが成立しないというのであれば、送信ボタンを押す前に必ず法務部門を同席させるべきだ」ということです。
6月半ば時点で、加盟27カ国のうち市場監視当局と通知当局の両方を指定していたのはわずか9カ国、部分的な指定にとどまるのが12カ国、どちらも未指定なのが6カ国でした。最初の第50条に基づく措置は、規制当局、競合他社からの申し立て、消費者団体、あるいは各国裁判所での名誉毀損訴訟のどこから始まると考えられますか。
最初の第50条に基づく措置がどこから発生するかを断定するのは難しいところです。形式的には、執行責任が国レベルにあることから、市場監視当局による措置が最も可能性が高いと言えます。しかし実際には、そのきっかけは別のところから生じるかもしれません。
順に可能性を消していくと、名誉毀損はこの初期段階では最も可能性が低いと考えられます。とはいえ、合成音声や合成動画が誰かの名誉を毀損するような場合には、名誉毀損訴訟が起こる可能性もあります。ただし、それは第50条に基づく本来の執行事例というよりは、並行して進む別の法的手段となる可能性が高いでしょう。
多数の人々に影響を及ぼしたり、関わったりし得るAIシステムについては、消費者団体が早期の異議申し立てを行う候補になり得ます。しかし、一部の市場でまだ体制整備が進行中であっても、規制当局主導の措置が最も可能性が高いと見ています。私の予想としては、最初の事例は書面上は規制当局主導となるものの、実態としては消費者団体、競合他社、従業員、ジャーナリスト、市民社会団体、あるいは被害を受けた個人からの申し立てがきっかけとなる可能性が十分にあると考えています。
クライアントから繰り返し尋ねられるものの、まだ良い答えが出ていない質問は何ですか。
私がよく耳にするのは、「AIエージェントが何を行い、なぜそれを行い、誰が責任を負うのかをどう証明するのか」という質問です。
これは今なお難しい問いであり、まだ真に良い答えは出ていません。サイバーセキュリティやGRCの分野では、証拠が重要です。ログ、承認記録、アイデンティティ、アクセス制御、保存期間、監査証跡が必要になります。しかし、エージェント型AIは推論を行い、データを取得し、コンテンツを生成し、複数のシステムにまたがって行動を起こすことができます。つまり、ガバナンスをポリシー文書のレベルから技術的な統制の実装レベルへと移行させる必要があるのです。
私がクライアントに助言しているのは、AIエージェントを特権を持つデジタルアイデンティティとして扱うことです。所有者を定め、役割を明確にし、最小権限のアクセスを付与し、監視体制を敷き、承認ゲートを設け、そしてキルスイッチを用意する。これを適切に実践できた組織は、単にコンプライアンス面で優れているだけでなく、レジリエンスの面でも優位に立つでしょう。
もう一つよく耳にする質問は、セキュリティテストにおけるAI活用に直結するものです。「透明性がどこで終わり、セキュリティテストがどこから始まるのか」というものです。
セキュリティチームには現実的なシミュレーションが必要ですが、EU AI法は、人がAIと対話する場合やディープフェイクにさらされる場合には開示を行う方向へ組織を後押しします。難しいのは、法的・倫理的な境界や従業員からの信頼を損なうことなく、リアリティを維持した訓練を設計することです。
セキュリティチームはリアリティを求め、規制当局は透明性を求めます。両者を同時に満たす訓練を設計することが課題です。
このほかにも、まだ答えの出ていない問いがあります。
- AIシステムが損害を引き起こした場合、最終的に責任を負うのはベンダーか、導入企業か、事業責任者か、それとも経営陣か
- 自社のAIガバナンスが、単に方針として文書化されているだけでなく実際に機能していることを、規制当局・顧客・取締役会にどう証明するか
- AIを大規模に活用しながらコンプライアンス、透明性、監査可能性を維持するために、どこまでのビジネス価値を犠牲にする覚悟があるか
翻訳元: https://www.helpnetsecurity.com/2026/08/07/edwin-weijdema-veeam-eu-ai-act-transparency/
