サイバーセキュリティにおける人工知能（AI）の現状をより深く理解するため、SecurityWeekは数十人のセキュリティ実務者、研究者、ベンダー、アナリスト、AI専門家に取材を行いました。
その成果として、セキュリティ業界全体でAIがどのように活用されているかを包括的にまとめた報告書が完成しました。
本レポートは5つの主要テーマに整理され、AIの役割を多角的な視点から考察しています。具体的には、AIへの信頼性、組織での活用実態、内部の正規ユーザーによる悪用の可能性、サイバー攻撃者による不正利用、そして今後の技術動向について検討しています。
5つのテーマは以下のとおりです。
- 生成AI（gen-AI）
- エージェンティックAI
- シャドーAI
- 機械学習（ML）
- 汎用人工知能（AGI）
これらの視点を総合することで、サイバーセキュリティにおけるAIの機会、リスク、そして今後の進化についての実践的な評価が見えてきます。
生成AI
生成AI（gen-AI）は現代AIの根幹をなす技術です。技術的には、それ以前から存在する機械学習（ML、後述）を起源としています。
名称のとおり、AIモデル（主に大規模言語モデル＝LLM）を用いて新たなコンテンツ（最も一般的なのはテキスト）を生成します。チャットボットはユーザーとLLMをつなぐインターフェースであり、自然言語でプロンプト（質問）を入力し、自然言語で回答を受け取ることができます。チャットボットがインターフェースであり、LLMが推論エンジンです。多くのユーザーにとって、実際の使用場面ではこの両者は区別しがたく、一体の生成AIアプリケーションとして認識されています。
ORGN.comの共同創業者兼CEOであるアフマド・シャディッド氏は次のように説明しています。「生成AIは膨大なデータセットで学習し、統計的パターンや関係性を習得します。そしてそのパターンを用いて、プロンプトから独自のアウトプットを生み出します」。ここで重要な点があります。生成AIはプロンプトに対して事実に基づいた正確な答えを生成するのではなく、学習したパターンに基づいて「もっともらしい答え」を予測します。ただし、言語的に正確で説得力のある応答を作り出す能力は確かです。
現代の生成AIのバリエーションを訓練するためのディープラーニングアーキテクチャには、大きく4種類があります。トランスフォーマーアーキテクチャ（GPTやBERTの「T」）は、ChatGPT、BERT、Claudeといった大規模言語モデルに使用されています。
拡散（ディフュージョン）モデルによる訓練は、高品質な画像、音声、動画の生成に特化したバリエーションを生み出します。基本的なプロセスはランダムなノイズから始まり、ユーザーのプロンプトに誘導される形で数学的にノイズを低減・再形成し、目的とする鮮明な結果を得ます。拡散モデルは破壊のプロセスを逆転させるもので、生成される結果はやはり確率に基づいています——この場合は、ピクセルの「もっともらしい」分布です。
従来の拡散技術は、拡散トランスフォーマー技術（Sora）と「フローマッチング」（DALL-E 3やMidjourney）へと進化しており、これらは次世代の拡散技術と位置づけられます。
敵対的生成ネットワーク（GAN）は、フィードバックループで対峙する2つのネットワークによって訓練されます。一方のネットワークが偽データを生成し、もう一方が繰り返し欠陥を指摘・フィードバックすることで欠陥を見分ける能力を磨きます。検出器が生成物にもはや欠陥を見つけられなくなるまで、両者は互いに改善し続けます。
このアプローチは画像・動画・音声の生成に優れていますが、ビジネス用途においては拡散技術に取って代わられています。ただし、犯罪者はGANベースのシンプルで高速なリアルタイム顔スワップおよび声のクローンモデルを引き続きディープフェイク作成に利用しています。
4つ目のアーキテクチャである変分オートエンコーダ（VAE）は、エンコーダー・デコーダー構造を採用し、合成データ生成、データ圧縮、異常検知に用いられます。シャディッド氏は「主な応用分野は医療画像診断と、創薬のための分子生成です」と述べています。
生成AIへの信頼性
Nagomi SecurityのCEO兼共同創業者エマニュエル・サルモナ氏は「生成AIは予測エンジンです。過去に見たパターンに基づいて統計的に妥当なものを生成します」と説明します。XBOWのAI責任者アルバート・ジーグラー氏はこれを受けて「だからこそ、エクスプロイトの仮説生成、異なる入力の試行、不審な挙動を既知の脆弱性パターンに結びつけるような探索的な作業に優れています」と述べています。
CapacityのCEO兼創業者デイビッド・カランディッシュ氏は「企業がクリエイティブな作業を自動化するためのツール」と表現します。そしてそのためにこそ、RubrikのAIゼネラルマネージャー、デブレット・リシ氏が言うように「インシデントレポートの要約から対応計画のドラフト作成まで、セキュリティチームのワークフローに深く組み込まれつつあります」。
Cyberbayのチーフストラテジーオフィサーであるガリナ・コー氏は、生成AIの登場を「効率化革命」と表現しています。「まったく新しい能力が生まれたわけではありません。既存の能力が、大規模に実行するうえでの敷居を劇的に下げているのです」。
AIを使う上で最大の問いは、確率に基づいた出力——つまり確実な真実に裏付けられていないアウトプット——を信頼できるのか、という点です。これに対する答えは、「No」の56のグラデーションとでも言うべきものです。AppOmniのAIシニアディレクター、メリッサ・ルッツィ氏は「使う意図、使うモデル、データの流れ全体によって、信頼できる場合もそうでない場合もある」と述べています。
Boltzbitの共同創業者兼CEOのイーチュアン・チャン氏は「生成AIは本質的に信頼できるものではありません。ハルシネーション（自信満々に誤った内容を語る現象）やデータ漏洩（学習データやコンテキストの内容をそのまま再現する現象）が起きやすいのです」と断言しています。
HOPPRのセキュリティ・ITオペレーションディレクター、トレバー・ファルコーニ氏はこう説明します。「生成AIモデルの導入は、ソフトウェアのインストールとは根本的に異なります。ある機関で学習されたモデルは、別の機関では異なる挙動を示します。それは特定のデータとワークフローから学習しているためです。新しい環境に移すと、『分布シフト』が生じます。つまり、モデルが今後直面する実世界のデータが、学習時のデータとかけ離れてしまい、パフォーマンスが静かに低下していくのです」。
Booz AllenのAI担当副社長、アーロン・サント=ミラー氏は「信頼性は複雑な問いです」と指摘します。「モデルは最善の推測をしていますが、それは完璧ではありません」。生成AIがすべてのAIの根幹である以上、その強みと弱みはエージェンティックAIやシャドーAI（後述）にも波及する効果があります。
サイバー防衛の担当者は常に生成AIがエラーを起こし得ることを認識すべきですが、それはAIの利用を妨げる理由にはなりません。ただしルッツィ氏がアンリ・テール氏の1971年の著書（『計量経済学の原理』）を引用して強調するように、「モデルは信じるものではなく、使うものです。AIはアナリストを支援するものであり、判断を代替するものではありません」。
危険なのは、自信をもって語られたことなら何でも信じてしまう人間の性質です。そして生成AIは自信たっぷりに嘘をつくことができます。フロリダ工科大学の客員教授ランデル・マクネア氏はLinkedIn上でこう述べています。「生成AIは実用的な意味では、自分は『天才』だと言われ続けてきた『賢い』子どものようなものです。実際には、間違いによって痛みを感じたことも、誰かを本当に失望させて恥ずかしさや後悔を味わったこともない、ほぼ8歳の子どもに過ぎません。そういった経験こそが『失敗から学ぶ』プロセスの一部であるはずなのに」。
生成AIの活用
チャン氏は、生成AIが恩恵をもたらす3つの領域を挙げています。SOCの生産性向上（複雑なインシデントログの要約と初期ドラフトレポートの作成）、セキュアコーディング（セキュリティ基準に準拠したボイラープレートコードの生成支援）、そしてバイブコーディング（非開発者によるゼロからのソフトウェア開発支援）です。
サント=ミラー氏は「多くの企業がこれらのモデルをドキュメント生成、記事執筆、ソフトウェア生成、あるいは大規模なワークフローにおける人間のメッセージのエミュレーションに活用しています」と言います。Sagissの社長、トラビス・スプリンガー氏は「メールの下書き、情報の要約、手作業の削減に役立っている」と付け加えます。
ファルコーニ氏によれば「医療画像チームは視覚言語モデルを試験的に導入し、画像検査での発見を浮かび上がらせています。また研究者たちは、実際の患者データが乏しかったり大規模利用に制約があったりする場面で、合成データ生成を活用してギャップを埋めています」。
生成AIの新たな活用法は絶えず開発されていますが、サイバーセキュリティにおいて最も効果的なのは、エージェンティックAI（後述）との組み合わせです。これにより生成AIは、受動的な応答者から能動的な実行者へと変貌します。
生成AIの誤用
企業内における生成AIの誤用はほとんどの場合、意図的ではありません。その根本にあるのは、この技術に対するガバナンスの欠如です。管理されていない生成AIの利用は、常にAIの誤用といえます。
個人レベルでは、AI任せで素早く（ただし必ずしも正確ではない）答えを得ようとする依存が生まれます。企業全体にAIモデルが展開される際に利用を適切に制御しなければ、個人のスキル低下やコストの無秩序な増大（AIは安価だという考えは誤りです）を招きかねません。一方、チャットボットへのアクセスが提供されなければ、従業員は外部サービスを使い始め、管理はさらに困難になります（後述のシャドーAIを参照）。
問題は、個人も経営者もAIを「アシスタント」ではなく「ソリューション」として扱う点にあります。たとえばAIのコーディング能力を利用して、高コストな有資格プログラマーの数を減らそうとする動きがあります。プロンプトを使えば誰でもプログラムを作れますが、そうして作られたプログラムは必然的に新たな脆弱性を生み出します。この問題は、有資格者がAIをパフォーマンスを向上させるためのツールとして活用すれば解消されます。高コストな人材を削減する手段として使うべきではありません。
生成AIの誤用を防ぐ鍵はガバナンスにあります。
生成AIの悪用
ここでの悪用とは、悪意ある者による使用を指します。サイバーセキュリティの分野では、悪意を持つ攻撃者は常に合法的な企業よりも速いペースで新技術を取り入れます。AIにおいてもこれは明らかに当てはまります。主な理由はAIの持つ力とその複雑さにあります。企業が社内AIアプリケーションを開発する際は、確実に正しく作り上げなければなりません——そうしなければ、自分たちが引き起こした壊滅的な事態に直面する可能性があるからです。それだけに時間がかかります。
犯罪者にはそのような懸念がありません。何かが完璧に機能しなくても、何の支障もなく最初からやり直せます。結果として、適切な防御が確立されるよりも先に新たな攻撃が現れる傾向にあります——防御側は攻撃の到来を予測できても、始まる前にその詳細を把握することはできません。
チャン氏は生成AIの悪用として主要な3例を挙げています。超リアルなフィッシング（従来のフィッシングで検知の手がかりとなっていた文法・スペルの誤りを排除）、ポリモーフィックマルウェア（生成AIを使ってシグネチャーベースの検知を回避するようにマルウェアコードを微妙に書き換える）、そしてバイブコーディングを用いたフィッシングサイトや攻撃的なソフトウェアの作成（正規アプリに見せかけつつユーザーの機密データを窃取するアプリを生成AIで作成）です。
BranditScanのCEO、ジーノ・シレッタ氏は警告しています。「説得力のある偽のIDを作成するのに、今や数秒もかかりません。しかし、それを確実に見破るには専門的なツールと訓練を受けたアナリストが必要です。ほとんどのプラットフォームとほとんどのユーザーは、そのような備えがありません。技術が安全策を追い越しており、そのギャップは縮まるどころか広がっています」。
生成AIは、敵対的なソーシャルエンジニアリングの質において大きな転換点をもたらしました。ソーシャルメディアの足跡を分析して特定の個人をプロファイリングし、ターゲットを絞ったルアーを作り出せます。また攻撃に説得力のあるバックストーリーを組み立て、個人データを詐取するための偽サイトや偽装サイトを準備することも可能です。
Appknoxの共同創業者兼CEOのハルシット・アガルワル氏はこう述べています。「生成AIは、大規模なターゲット型フィッシング、マルウェアの反復生成、脆弱性リサーチを攻撃者にとってはるかに手軽なものにしています。WormGPTのようなツールは安全装置を完全に取り除いており、攻撃者は通常の生成AIと同じスピードのメリットを、摩擦なく享受できます」。
画像・音声クローンや動画生成技術は、BEC（ビジネスメール詐欺）やVEC（音声メール詐欺）の脅威を拡大させるディープフェイクの状況を生み出しており、その規模と巧妙さは今後さらに増していくでしょう。
シレッタ氏はこう付け加えています。「AI生成画像の94%に視覚的なアーティファクト（不自然な痕跡）がありましたが、その痕跡はあまりにも微細で、ターゲットの多くは気づきませんでした。目の中の光の反射が矛盾している——片方の瞳が窓を映し、もう片方がまったく別のものを映しているなど——知るべき箇所を知っていれば見抜けます。しかし一般消費者はそうした点を見分けるよう訓練されておらず、生成技術は社会的認識の向上より速く進歩しています」。
さらに同氏はこう述べています。「最も危険な進展は偽の写真ではありません。偽の会話です。AI駆動のチャットシステムは今や、数日から数週間にわたって感情的に説得力のある対話を維持できるようになっており、人間のオペレーターと比べて約300%速く感情的な操作を進められます」。
ApproovのCEO、テッド・ミラッコ氏の言葉が状況を端的に表しています。「AIの危険は、できることだけではありません。誰かが気づく前に、どれだけ速く行動できるかにあります」。
現時点で犯罪者が主にAIを活用しているのは、既存の手法の強化——より効率的なソーシャルエンジニアリング、コードの脆弱性発見、エクスプロイトの生成——です。次のステップは、エージェンティックAIシステムを通じた攻撃プロセス全体の自動化でしょう。
生成AIの未来
アマラの法則（Wikipedia）はこう述べています。「私たちは技術の短期的影響を過大評価し、長期的影響を過小評価する傾向がある」。AIが厄介なのは、「短期」とは来週の話であり、「長期」といっても数か月先のことを意味する可能性があるという点です。多くの人が何が起きているか本当に理解する頃には、状況はすでに変わっているでしょう。
それでも、勇気ある専門家たちは風に指を向けて予測を示してくれました。Forcepointのチーフデータストラテジーオフィサーであるロナン・マーフィー氏はこう予測します。「生成AIはあらゆるものに組み込まれるでしょう——すべてのスプレッドシート、すべての動画、すべてのワークフローに。『AIを使う』ことと単純に『仕事をする』ことの区別は、実質的に消えてしまうでしょう。セキュリティチームにとっては、守るべき対象が拡張し続けることを意味します。おそらく、ポリシーの枠組みが追いつく速度をはるかに上回るペースで」。
チャン氏はSLM（大規模ではなく小規模な言語モデル）の台頭を見据えています。「私たちは特定のドメインに特化した『スモール言語モデル』——たとえばLinuxカーネルの脆弱性だけで訓練されたモデルのような——へと移行しつつあります。これによりノイズを減らし、精度を高めることができます」。
サント=ミラー氏はより慎重で、現在のAIの本質そのものが将来を不確かにしているのではないかと考えています。「生成AIの未来は複雑です」と彼は言います。
「モデルは大型化し続け、それに伴ってより強力になっています。しかし、相反する2つの力が働いています。大型のモデルはコストが高く——学習にも利用にも——、能力の向上はコストを伴います。そしてモデルは人間が生成したコンテンツで訓練されており、それが人間の推論の代理を果たしています。では、コンテンツの大半がAI生成になり、その代理機能が失われるとどうなるのでしょうか。これが業界全体で解決すべき大きな問いです」。
エージェンティックAI
エージェンティックAIは、チャットボット型生成AIの進化形です。シンプルに言えば、ユーザーがチャットボットに質問し、その回答に従って行動するのが従来の形です。エージェンティックAIでは、生成AIが回答をエージェントに返し、そのエージェントが組織内の他のツールに指示を出して必要な動作を実行させます。
ただし、エージェンティックAIはこの単純な説明よりはるかに複雑です。LLMを主要な認知源として活用するタスクコントローラー（または意思決定者）であり、エージェントは動的で状態を保持し、適応的であり、目標指向で、目標を達成するために使用できるツールを把握しています。
Booz AllenのAIエグゼクティブリード、エリック・サイファード氏は「エージェンティックAIは、質問に答えるLLMを作業実行を自動化するソフトウェアへと変換します。『手を持つLLM』とイメージしてもらえればわかりやすいでしょう」と説明します。
長期記憶コンテキスト、ツール使用能力、評価能力における技術的ブレークスルーにより、エージェンティックシステムはほとんど人間の監視を必要とせずに複雑な複数ステップのプロセスを完遂できるようになっています。「これは単なるAIの新バージョンではありません」と同氏は続けます。「労働力を届けるまったく新しい運用・経済モデル——『ソフトウェアとしての労働力』です」。
ミラッコ氏はこう付け加えます。「エージェンティックAIは質問に答えるだけでなく、あなたの代わりに自律的に行動することもできます。APIを呼び出し、コードを実行し、ワークフローを管理し、判断を下すことで、LLMはアクセスを許可されたあらゆるもの——たとえばあなたのスマートフォン——を制御する『脳』となります」。
エージェンティックAIは生成AIを大きく超えた存在です。マーフィー氏はこう説明します。「エージェントは単一のプロンプトに応答するのではなく、推論し、計画し、行動します。これは多くの場合、複数のツール、データソース、アプリケーション統合を横断して、各ステップでの人間の関与を最小限にして行われます。エージェントに指示ではなく目標を与えれば、そこへの到達方法を自ら考え出します」。
エージェンティックAIへの信頼性
エージェンティックAIは認知に生成AIを使用するため、生成AIの信頼性の問題を引き継ぎますが、企業資産への直接アクセスと自律的な行動の可能性という点で、リスクはより深刻です。
信頼できるのでしょうか。Cochatの共同創業者兼CEO、マルセル・フォラロン氏はこう述べています。「それは完全に設計次第です。無制限のシステムアクセスを持つ自律型エージェントは負債です（OpenClawの事例を参照）。一方、スコープ限定の権限、人間の承認ワークフロー、監査証跡、予算管理を備えた自律型エージェントなら本当に信頼できるツールといえます。エージェンティックシステムは、複数のユーザーに対して透明でなければなりません」。
同氏はこう続けます。「信頼の問いはバイナリではありません。それはアーキテクチャの問いです。エージェントが何をしたか見えますか？何ができるかを制御できますか？重大な行動を取る前に作業をレビューできますか？できれば、信頼できるシステムです。できなければ、それはリスクです」。
信頼できるのでしょうか。アガルワル氏は警告します。「それは積極的なガバナンスが機能している場合のみです。しかし、今日のほとんどの組織はそれに対応する準備ができていません。エージェントが機能するには広範なアクセスが必要であり、一度そのアクセスが許可されると、アウトプットがレビューされたり縮小されたりすることはほとんどありません。エージェントはUIレイヤーを完全に迂回し、APIと直接通信します。そのトラフィックはセキュリティチームが異常検知に用いるセッションデータや行動シグナルを生成せず、従来の可視性——特にAPIドリブンやモバイルファーストの環境における——を消し去ってしまいます。さらに、そのトラフィックは正当に見え、誰も実際に監視していないログには現れないことが多いのです」。
サイファード氏はこう付け加えます。「信頼を確立するには、強固なアイデンティティとアクセスガバナンスが必要です。エージェントを非人格エンティティとして扱い、人間のユーザーと同様に継続的に認証・認可・監査・監視が必要な固有のアイデンティティを持つ存在として位置づけることが求められます——エージェントはインサイダー脅威に類似したリスクをもたらす可能性があるためです」。
コー氏はこう述べています。「エージェンティックAIへの信頼は、いかにうまく制約されているかにかかっています。モデルの優秀さからではありません。したがって、最も重要な問いは精度ではなく、間違えた場合に最悪どうなるか、という点です。実際には、リスクはパフォーマンスよりも権限によって左右されるからです」。
ChurnZeroの創業者兼CEO、ユー・モン・ツァン氏も、信頼できるエージェンティックAIを実現するためのガバナンスの必要性に同意しています。「信頼は封じ込めを通じて獲得されなければなりません。慎重に検討されたデータアクセス、人間の確認チェックポイント、そしてあらゆる記録の保持が必要です」。
チャン氏は「信頼は大きなハードルです。エージェントはアクション（ユーザーの削除やファイアウォールルールの変更など）を実行できるため、制御不能なプロセスを防ぐための厳格なガードレールと『ヒューマン・イン・ザ・ループ』チェックポイントが必要です……エージェンティックAIには、ガードレールの設置が非常に重要です」と述べています。
「ヒューマン・イン・ザ・ループ」はエージェンティックAIへの信頼を可能にするガバナンスメカニズムの重要な要素です。ただし、それは動く標的でもあります。AIの品質、ビジネスのスピード、そして攻撃の量と速度が増すにつれて、エージェンティックアクションに対する人間の制約を減らしたいというプレッシャーも高まります。人間の関与と自律的アクションの適切なバランスを継続的に確保することは、最大のパフォーマンスと最大の信頼を両立させるための重要な要素です。
エージェンティックAIの活用
現在のエージェンティックAI導入は慎重ながらも加速しています。慎重なのは、ほとんどの組織がこれが制御しがたい存在であることを理解しているためです。加速しているのは、その恩恵が現実のものだからです。
最小限の人間の関与でマシンスピードで行動できる能力は、サイバーセキュリティにとって大きな恩恵です。チャン氏は「自律的なパッチ適用」の可能性を指摘しています。「エージェントが脆弱性を特定し、パッチを見つけ、サンドボックスでテストし、展開します」と述べています。
コー氏は「ワークフロー自動化、アシスタント、チケットトリアージ、調査サポートに使われています。セキュリティチームでは、AIは主にアナリストがコンテキストを収集する助けをしており、意思決定を行うわけではありません」と付け加えます。
フォラロン氏は「企業はエージェンティックAIを、反復的で時間がかかり、現在は見落とされがちなタスク——監視、報告、データ集約、アラートのトリアージ、コンテンツ生成、コンプライアンスチェック——に活用しています。価値が最も高いのは、すべてを手動でこなす人員が不足している中小企業チームです」と述べています。
ProCircularのAI＆サイバーセキュリティR&D担当副社長、ジム・シャーロック氏は「企業はすでにエージェンティックAIをコード作成、セキュリティアラートのトリアージ、インフラ管理、そしてかつてはチーム全体が必要だったワークフローの自動化に展開しています。生産性の向上は非常に現実的です」と付け加えます。
サルモナ氏はこう述べています。「企業にとっての真の機会は、問題の発見と実際の解決の間のギャップを埋めることです。そのギャップ——調査、部門をまたいだ調整、修正が実際に機能したかどうかの確認——は、数十年にわたってほぼ完全に手作業で行われてきました」。
「エージェンティックシステムはその作業を吸収し始めています。ただし、うまくいっているシステムは深い環境コンテキストに基づいています。コンテキストに基づいていないシステムは、リスクを減らすことなく単に活動を生み出しています。これは全く異なることです」。
エージェンティックAIの誤用
エージェンティックAIの誤用はおおむね偶発的なものであり、ガバナンス・ガードレール・慎重な設計の欠如に起因し、機械的な推論の予測不可能性によって悪化します。終わりのないロジックループ（常に目標に向かって進もうとするが決して達成できない状態）は、手動で停止されない限り、事実上永遠にエージェントを稼働させ続ける可能性があります。こうした終わりのないループは、ハルシネーション、設計の欠陥、あるいはエージェントやLLMが目標がすでに達成されたことを認識できないことによって引き起こされる可能性があります。
カランディッシュ氏はこうコメントしています。「AIエージェントへの信頼の重要な側面は、自分の限界を認識するよう訓練することです。人間が簡単に介入して問題を解決できるのに、終わりのないループに陥ってほしいと思う人はいません」。
サルモナ氏はこう付け加えます。「私を夜も眠れなくさせる問題はシンプルです。エージェントは、自身が扱うコンテキストの質に左右されます。環境の正確で相関した全体像——資産、コントロール、露出、脅威の状況——を与えれば、実際にリスクを低減する判断を下せます。不完全なデータを与えても、やはり行動します。自信を持って。素早く。そして間違って。検証されたコンテキストのない自動化は、単に大規模に間違いを犯すスピードを上げるだけです」。
このような偶発的なエージェンティックAIの誤用こそが、広範な信頼問題を生み出しています。リシ氏は「エージェンティックAIが将来成功するためには、安全性、ガバナンス、そして復旧可能性が最優先事項でなければなりません」と警告しています。
フォラロン氏はこう付け加えます。「意図しない結果は現実に存在します。エージェントはドリフトする可能性があります——技術的には指示に従っているが、誰も意図しなかった結果を生み出す行動を取ることがあります。また、誰も監査していなければ、時間とともに権限を蓄積していく可能性もあります」。
エージェンティックAIの悪用
エージェンティックAIの複雑な現実として、企業に恩恵をもたらす一方で攻撃対象領域を拡大させるという側面があります。さらに悪意ある者はエージェンティックシステムを攻撃するだけでなく、自分たちもエージェンティックシステムを利用して攻撃をスピードアップし規模を拡大しています。さらに困ったことに、企業は拡大した攻撃対象領域に気づいていないことが多く、ダウンロードしたアプリには内蔵されているものの非公開のエージェンティックシステムが含まれていることがあります。
Mend.ioのフィールドCTO、アミット・チタ氏はこう述べています。「悪意ある者については、現時点では既存の攻撃をより速いペースで実行したり、初期採用者を感染させるために悪意あるAIプロジェクトを公開したりする使い方が最も一般的です。しかし時間が経つにつれ、AIがより重要なシステムに統合され、企業が内部エージェントにより多くの権限を付与するようになると、これらのシステムを操作するためのプロンプトインジェクションが大幅に増加するでしょう」。
悪意ある者はエージェンティックの攻撃対象領域を複数の方法でターゲットにしており、最も一般的なのはプロンプトインジェクションです。アガルワル氏は「プロンプトインジェクション攻撃は、到着時には無害に見えた入力から、エージェントを密かにデータ漏洩や遅延実行ペイロードの構築へと誘導する可能性があります」と警告しています。
シャディッド氏は「私の見解では、サイバー攻撃は1〜2年以内にほぼ完全にエージェンティックになるでしょう。防御側も対抗するために自律化しなければなりません」とコメントしています。
TrustLogixのCEO、ロン・ロンゴ氏は「サイバー犯罪者はエージェンティックAIの規模と知性を活用して、より高度で圧倒的なフィッシングやマルウェア攻撃を仕掛けてくるでしょう。エージェンティックAIは自律的に機能できるため、これまでのサイバー犯罪時代よりもはるかに高い洗練度で攻撃を自動化・オーケストレートできます」と述べています。
まだそこには達していません。コー氏は「完全な自動化は必要ありません。部分的な自動化だけでも、攻撃者の効率と費用対効果を大幅に向上させます」と説明しています。
しかし、状況はさらに悪化するでしょう。ジーグラー氏は「エージェンティックAIは攻撃者が偵察、脆弱性発見、エクスプロイト試行、そして多くのターゲットにわたる適応を同時に自動化することを可能にします。コンテンツを生成するだけでなく、複数のステップにわたって目標を追求できます。言い換えれば、AIがアーティファクトを生成することから、AIがオペレーションを遂行することへのシフトです」と述べています。
マーフィー氏はこう付け加えます。「将来的に懸念されるのは、弱点を自律的に特定し、悪用し、データを持ち出し、証拠を隠蔽する——これを攻撃者側に人間を介在させずに行えるエージェンティックシステムです。まだ完全にはそこに至っていません。しかし、その軌跡は明らかであり、セキュリティ業界はそれに先手を打つためのスピードで動けていません」。
その軌跡はすでに、Anthropicが2025年11月に発見した中国に関連する国家支援型脅威アクターによる大規模に自動化された攻撃によって実証されています。
フォラロン氏はこう述べています。「人間のハッカーがシステムを手動で調査する代わりに、AIエージェントが脆弱性を探し、エクスプロイトをテストし、データを持ち出し、証跡を消去することができます——すべて人間の介在なしに。ターゲットの応答に基づいてリアルタイムで適応するスピアフィッシングキャンペーン。かつては不可能だった規模での自動偵察。防御側にとってエージェントを有用にする同じ自律性が、悪意ある手に渡れば危険になります」。
エージェンティックAIの未来
ツァン氏は「エージェンティックAIの生産性への潜在的な影響を考えれば、それがビジネスを運営する中核的な部分になると確信しています」と述べています。
サイバーセキュリティにおいては、チャン氏が「複数の専門エージェント（『検知エージェント』と『修復エージェント』）が連携してセキュリティのライフサイクル全体を管理する『エージェンティックオーケストレーション』の台頭が見込まれます」と提案しています。
しかし、エージェンティックの複雑さには複雑な制御が伴う必要があります。マーフィー氏はこう警告しています。「確かなのは、静的でルールベースの制御ではペースに追いつけないということです。コンテキストを理解するデータセキュリティが必要です——エージェントが何をしているか、どのデータに触れているか、それが何のリスクを表すか——をリアルタイムで適応できるものが。このアダプティブセキュリティの考え方は、今日と明日にとって非常に重要です。AIエージェントが1分間に何百ものデータ判断を下しているとき、古い『ブロックか許可か』というバイナリは機能しません」。
フォラロン氏はこう述べています。「未来とは、継続的に稼働し、結果から学び、互いに連携し、判断が必要な決定の際にのみ人間に問いかけるエージェントです。しかし、その未来はガバナンスを先に解決した場合にのみ機能します。説明責任のない自律性は、起きるのを待っている災害です」。
将来のエージェンティックシステムに許容される自律性の程度については、まだ激しい議論が続いています。コー氏はこう述べています。「将来、エージェンティックAIはガバナンスが強固なところでは成功しますが、自動化が成熟と誤解されるところではリスクになります。明確な境界と継続的な検証に裏付けられた、監視された自動化であるべきです。未来は自律的なセキュリティではありません」。
ジーグラー氏はこう語っています。「私は、狭い目標を持つ短命なエージェントを多数組み合わせ、持続的な調整、厳格なポリシー制御、独立した検証を備えたシステムがより多く構築されると予測しています。エージェンティックのパフォーマンスは、一つのモデルを永遠に使い続けることではありません。時にはループの異なるポイントで異なるモデルが異なる強みを発揮します。真のフロンティアは『あらゆる代償を払ってでもより多くの自律性を』ではありません。監査可能で、証拠に基づき、本番環境での運用が安全な自律性です」。
シャドーAI
シャドーAIとは、企業内に導入されているものの、ITおよびセキュリティ部門には知られていないAI、あるいは従業員がITおよびセキュリティ部門に断りなく使用する外部AIを指します。
シャーロック氏はこうコメントしています。「シャドーAIはシャドーITのサイバーセキュリティ版ですが、影響の規模は桁違いに大きくなります。企業への侵入経路は、他の未承認ツールとまったく同じです」。
エージェンティック型のシャドーAIは通常、従業員がオープンソースツールを見つけて業務効率化のためにインストールする形で入り込みます。
ただし、アガルワル氏はこう警告しています。「シャドーITと異なり、シャドーAIはワークフローの外側ではなく内側で動作します。そのため、検知が難しく、信頼されやすいのです」。
これは、ダウンロードしたクラウドSaaSアプリに内蔵されているが非開示のエージェントが含まれる場合に特に当てはまります。これらのアプリがインストールされると、顧客のインフラの異なる部分へのアクセスを付与する、事前承認済みの有効なOAuthトークンを携えてやってくる可能性があります。攻撃者がそのようなOAuthトークンにアクセスできれば、頻繁に機密性の高い情報への容易なアクセスを得ることになります。
このアクセスの潜在的な範囲は甚大です——2025年のSalesloft（Drift）の侵害事件がその典型です。DriftはSalesforce向けのAIチャットボットおよびウェブサイトエンゲージメントツールです。攻撃者がそのOAuthトークンを盗み、Driftをインストールした組織へのアクセスを得ました。その後、700以上の組織がDrift内のシャドーAIを経由して侵害されました。これらの組織のうち、Drift内のエージェンティックAIの存在を知らなかったものは、事実上シャドーAIによって侵害されたことになります。
シャドーAIのさらなる例として、従業員がセキュリティ部門の知らないうちに外部チャットボットを使って生成AIにアクセスするケースがあります。その従業員は、不正確、不十分、あるいは単にハルシネーションによる情報に基づいて組織内でアクションを実行する可能性があります。
にもかかわらず、マーフィー氏はこう述べています。「シャドーAIを使うことによる生産性の恩恵は現実のものであり、その点を明確にしておきたいと思います。人々がこれらのツールを使うのは無謀だからではありません。実際に機能するからです。問題は、生産性の向上とデータリスクが同時に発生しており、組織はそのどちらについても可視性を持っていないことが多いという点です」。
シャドーAIへの信頼性
結局のところ、シャドーAIを信頼することはできません。見えないものは信頼できません。ファルコーニ氏はこう警告しています。「審査されていないモデルは操作される可能性があり、審査されていない学習データのバイアスを引き継ぐ可能性があり、学習データの分布外の入力に遭遇したときに予測不可能な動作をする可能性があります。そして誰も監視していないため、その予測不可能性は検知されないまま放置されます」。
シャドーAIの使用状況
マーフィー氏はこう説明しています。「シャドーAIは、善意と利便性が出会う場所で生まれます。従業員が新しいAIツール——ブラウザプラグイン、コードアシスタント、生産性アプリ——を発見し、それが仕事をより速くこなすのに本当に役立つから使い始めます」。
短期的にはシャドーAIが企業に利益をもたらす可能性があります。しかしチャン氏は「長期的には、大規模なデータ侵害や規制上の罰金（GDPR/CCPA）のリスクが効率化の利益を遥かに上回ります」と付け加えています。
フォラロン氏はこう述べています。「人々がシャドーAIを使い始めるのは、それが本当に仕事を速くするからです。問題は、生産性の向上が定量化されていないリスクを伴うことです。スピードとコントロールをトレードオフしているのですが、何かが問題になるまで、何を手放したかに気づかないことが多いのです」。
シャドーAIの誤用
厳密に言えば、シャドーAIのあらゆる使用は誤用です。単に企業によって認可されていないからです。この誤用は、意図的でなくても深刻な問題を引き起こす可能性があります。ファルコーニ氏はこう述べています。「医療分野では、このシナリオが定期的に起きています。放射線科医がオープンソースのモデルを見つけ、スキャンのトリアージを助けるために使い始めます。研究者が消費者向けのAIツールを通じて画像データを処理し、分析を加速させます。IT、セキュリティ、コンプライアンスの誰もその存在を知りません。監査証跡もなく、触れたデータの証明された由来もなく、バージョン管理もありません」。
コンプライアンス上の問題はシャドーAIの文脈で拡大されます——深刻な規制上の問題を引き起こす可能性があります。「何かが問題になったとき、それを追跡し、封じ込め、合理的な予防措置が取られたことを規制当局に証明する方法がありません」。規制上のリスクは業界によって異なりますが、説明責任のギャップは一貫しています。「医療では、コンプライアンス違反でありHIPAAの責任問題です。金融サービスでは、SECやFINRAの監督が示唆されます。EU市民のデータを扱うすべての組織にはGDPRが適用されます。これらすべての規制において、法的立場は同じです。AIシステムがどのように構築、検証、監視されたかを文書化できない企業は、そのシステムが損害を引き起こした場合に擁護できる立場にありません」と同氏は付け加えます。
さらに同氏はこう続けます。「セキュリティへの影響はコンプライアンスのギャップを超えています。従業員が承認されていないAIツールを使用すると、機密データが組織の境界の外に出ることが多く、不透明なデータ保持ポリシーを持つ外部のAPIやプラットフォームに送り込まれます。従来のシャドーITと異なり、露出は単なる設定ミスツールだけではありません。専有情報や保護されたデータが、組織が可視性を持たず、契約上の管理もできないシステムに取り込まれる可能性があるのです」。
チャン氏はこう説明し、「これらのツールは『公開』設定を使うことが多く、入力された機密データ（企業独自のソースコードや顧客のPIIなど）がベンダーの学習データセットの一部となり、事実上公開漏洩することを意味します」と述べています。さらに「悪意ある者は、公開AIデータセット内の露出したAPIキーや漏洩した企業秘密を探し、ターゲットネットワークへの足がかりを得ようとします」と付け加えています。
そしてSecureAuthのCEO、ジェフ・マットソン氏はこう警告しています。「誰かがノートPCにMCPサーバーを設定して、Claudeに内部データベースへのアクセスを与えるとき、それは真に歯のあるシャドーAIです」。
シャドーAIの悪用
フォラロン氏は「シャドーAIは攻撃ツールというより、攻撃対象領域です」とコメントしています。シャドーが持ち込む最大の問題はこの拡大した攻撃対象領域です。マーフィー氏はこう続けています。「承認されていないすべてのAI統合は、潜在的なデータ漏洩、潜在的なコンプライアンス違反、潜在的な侵入口です。リスクは行動面ではなく構造面にあります」。
企業の境界内で動作する未承認ツールは、定義上、監視されていません。ファルコーニ氏は「そのため、悪意あるインサイダーにとって実行可能なベクターになります。審査されていないツールを使ってデータを持ち出したり、アウトプットを操作したり、ほとんど検知リスクなしに競争上の情報収集を行ったりする従業員はリスクです。シャドーAIは正式なITシステムの外に存在するため、通常の検知の仕組みが機能しません」と展開しています。
悪意ある者はまた、従業員を騙して意図的に汚染されたオープンソースモデルをダウンロードさせることで、この隠れた攻撃対象領域を拡大・操作しようとします。ファルコーニ氏はこう続けています。「誰かが上流で改ざんされたモデルをダウンロードして展開すると、それは企業内で目に見えない形で動作します。出自の文書や検証プロセスがなければ、実行しているものが何か、それが操作されているかどうかを知る方法がありません」。
コー氏は「サイバーセキュリティでは、問題が攻撃から始まることはめったにありません。盲点から始まります。シャドーAIの問題は信頼にあるのではなく、その完全な認識がないことにあります」と説明しています。
シャドーAIの未来
シャドーAIの正しい未来については、達成可能かどうかはともかく、明確な方向性があります。
ファルコーニ氏はこう主張しています。「シャドーAIは縮小する前に成長するでしょう。ツールへのアクセスが容易すぎ、生産性のインセンティブが強すぎて、このトレンドが自然に反転することはありません。すべてをロックダウンしても機能しません。過度に制限的なポリシーはシャドーAIを排除しません。それをさらに地下深くに追いやり、検知とガバナンスをさらに困難にするだけです」。
シャドーAIを排除することに関わる問題があるにもかかわらず、多くの実務者はそれが可能であり、やがて実現すると信じています。ツァン氏は「この軌跡は予測可能です。ITが追いつくでしょう。承認された安全なAIツールを最も速く提供する組織はシャドーAI問題が最も少なくなります。ITが実際に価値を提供しているとき、ITを迂回するインセンティブが消えるからです」と述べています。
ファルコーニ氏もこれに同意しています。「組織が実務者に、求める速度と柔軟性を提供する安全で監査可能なプラットフォームを与えるとき、未承認ツールの魅力は薄れます。シャドーAIが存在するのは、ガバナンスされた代替手段が遅すぎ、使いにくく、または利用できないからです。その問題を解決すれば、症状ではなく根本原因に対処できます」。
サルモナ氏はこう付け加えます。「この問題を解決する組織は、ツールを禁止することでそれを成し遂げるわけではありません。承認されたパスをシャドーパスより速くすることで成し遂げます。これはデザインの問題であり、ポリシーの問題ではありません」。
しかし、歴史はそうはいきませんでした。AIを含まないシャドーIT（つまり通常のシャドーIT）は長年にわたって存在しています。業界はシャドーITを解決できなかっただけでなく、問題はかつてないほど大きくなっています。シャドーITよりもさらに根強いと思われるシャドーAIの問題を時間をかけて解決できるという考えは、はっきりと疑問視されます。
機械学習（ML）
業界では、生成AIが広く普及するずっと以前から、機械学習AIシステムを活用してきました。
MLと生成AIは関連しています。どちらもデータで学習します。ただし、生成AIがインターネットからスクレイピングされた大量データで学習するのに対し、MLは主要タスク（通常はローカルなもの）に限定したデータで学習します。より制約されたソースデータにより、アウトプットは決定論的となります。生成AIのアウトプットが確率的であるのとは対照的です。
ファルコーニ氏はこう述べています。「テキスト認識ツール・システム（OCR）は良い例です。これらは数千、数万の文書で学習したMLツールです。文書をスキャンすると、かなり正確にテキストを識別します。同じページを2回スキャンすれば、おそらく同じアウトプットが得られます」。
MLは統計的アルゴリズムを使用してデータ内の異常を発見します。チャン氏によれば「セキュリティでは、主にパターン認識と行動分析に使用されています」。その行動分析は、正常からの逸脱を際立たせることで侵害の兆候を見つけるために利用されます。
MLへの信頼性
ルッツィ氏は「一般的に、MLは生成AIよりも信頼性が高いです。既存のコンテンツを分析するために使用され、新しいコンテンツを生成するわけではないからです」と述べています。
しかしアガルワル氏はこう警告しています。「MLは学習データと同程度にしか信頼できません。不完全または時代遅れのデータで学習したモデルは、過去の脅威とは異なる新しい脅威を見逃します。攻撃者はこれを知っています。彼らは検知ロジックを研究して、正常に見える境界内に収まる入力を作り込みます——実質的には、自分たちを捕まえるよう設計されたシステムを回避する方法を自己学習しているのです。MLシステムはまた、サイレントに失敗します。見逃した場合、アラートを出しません。それを正常として扱ってしまいます」。
ファルコーニ氏も同意しています。「学習済みドメイン内では、MLは例外的に高い信頼性を発揮できます——疲弊し、気が散り、量に圧倒されることのある人間アナリストよりも一貫性がある場合も多いです。しかし盲点があります。MLモデルは学習データと同程度にしか優秀ではありません。学習データに特定のタイプの攻撃が含まれていなければ、モデルはそれを検知できません。正直なところ、MLは防御の1つの層として信頼できますが、唯一の層としては信頼できません。ノイズを減らし、重要なものを浮かび上がらせるのに優れています。重大な判断における人間の判断を代替するものではありません」。
シレッタ氏はこう付け加えます。「サイバーセキュリティにおけるMLは、人間の意思決定を補強するために使用される場合には信頼できます。置き換えるためではありません。リスクが生じるのは、組織がMLを『設定したら放置』のソリューションとして扱う場合です。脅威の状況が変化するにつれてモデルは劣化します。継続的に再学習、検証、監査を行っていなければ、ゆっくりと崩れていく基盤の上に立っていることになります」。
リシ氏はこう述べています。「主要な課題は、機械学習の判断を観察可能かつ説明可能にすることです。組織は、アウトカムがどのように導出されるか、どのシグナルに依存しているか、それらの判断がどこで検証または上書きできるかについて明確に理解する必要があります。そうでなければ、完全には理解も制御もできない判断に依存するリスクがあります」。
MLの活用
サント=ミラー氏はこう述べています。「サイバーにおける機械学習アプリケーションはリスク分析、行動分析、脅威検知を指向しています。各機械学習アプローチは、内部で選択された手法に基づいて異なるトレードオフをはらんでいます。あるものは力は劣るが新しいユースケースへの汎化性が高く、透明性がある（なぜそう言ったり行動したりするかが説明しやすい）。他のものはより焦点を絞ったブラックボックスです。AIチームがこれらの機能を提供する際にはそのようなトレードオフのバランスをとっています」。
アガルワル氏はこう続けています。「MLはサイバーセキュリティにおける多くのAIアプリケーションの基盤です。過去のデータで学習したモデルを使ってパターンを識別し、異常な活動を発見し、正常とされるものとは異なる行動を際立たせます。企業はエンドポイントとネットワーク全体での脅威検知、マルウェア分析、リスクスコアリング、行動監視に活用しています。その価値は、どんな人間チームも対応できない規模で動作できることにあります」。
ファルコーニ氏はこう付け加えます。「脅威検知——ネットワークトラフィック、エンドポイント行動、ユーザーアクティビティにおける異常の検知。メールフィルタリング。不正検知。脆弱性の優先順位付け——1万件の脆弱性のうち実際に重要なものを特定すること。ユーザーおよびエンティティ行動分析（UEBA）——各ユーザーにとって正常な状態を学習し、逸脱をフラグ立てすること。人間のチームが手動で処理できないほどの規模でのログ分析」。
チャン氏はUEBAの具体例として「午前3時にユーザーが突然5GBのデータをダウンロードし始めたときにフラグを立てること」を挙げています。
ルッツィ氏はこう述べています。「数値コンテンツの詳細分析、大量データ、またはできるだけ決定論的であることを目的としたデータ分析では、MLは通常、生成AIよりも好まれるか、あるいは生成AIが使用するデータを分析するための中間ステップとして使用されます」。
サイバー防御におけるMLの潜在的な価値にもかかわらず、リシ氏は強調しています。「主要な課題は、機械学習の判断を観察可能かつ説明可能にすることです。組織は、アウトカムがどのように導出されるか、どのシグナルに依存しているか、それらの判断がどこで検証または上書きできるかについて明確に理解する必要があります。そうでなければ、完全には理解も制御もできない判断に依存するリスクがあります」。
MLの誤用
MLは従業員による積極的な誤用を招きにくいです。誤用があるとすれば、行動による誤用よりも不作為による誤用です。
サルモナ氏はモデルドリフトを例として挙げています。「展開時点での精度は6か月後の精度ではありません。環境は変化し、攻撃者の行動は進化し、モデルは自動的にはついていけません。ほとんどの組織はその劣化を監視する体系的な手段を持っていません。以前機能したからというだけで、ツールを信頼してしまうのです。その前提はいつか代償を払わせることになります」。
MLの悪用
分析を自動化できる利点は、攻撃者が自分たちのMLシステムを使用することも意味します。「選択、優先順位付け、反復の自動化を助けるシステムはどれも、攻撃者をより速く、より執拗にする可能性があります」。これはサイバー犯罪の産業化が進行する上での主要コンポーネントです。ジーグラー氏は「一般的なパターンとして、サイバーオペレーションがオーダーメイドではなく産業化されていきます」と述べています。
攻撃者はまた回避のためにMLを使用します。チャン氏によれば「自分たちのMLモデルを使ってターゲットのセキュリティシステムをシミュレートし、攻撃が検知されない『盲点』を見つけます」。
ファルコーニ氏はこう展開しています。「どのような行動がアラートを引き起こすかを学習し、そのしきい値を下回るよう攻撃を最適化することで検知システムを回避します。自動化されたパスワードクラッキング。シグネチャーベースの検知を回避するほど変異させながらペイロードを維持するポリモーフィックマルウェアの生成。そしてMLを使ってターゲットに優先順位をつけること——公開されているデータを分析して、最も脆弱な、または価値の高い組織を攻撃対象として特定すること——がますます増えています」。
ルッツィ氏はこう付け加えます。「悪意ある者はMLを使って偵察を自動化したり、ネットワークの脆弱性をマッピングしたりすることができます」。
しかし悪意ある者は企業のMLシステムを直接攻撃することもあります。チャン氏は「学習データを『汚染』してMLモデルに特定の種類の悪意ある活動を無視させる敵対的攻撃に対して脆弱です」と警告しています。
MLの未来
機械学習の未来は、生成AIとの収束にあります。
ファルコーニ氏はこう説明しています。「サイバーセキュリティにおけるMLはリアルタイムの適応的防御に向かっています——既知のパターンを検知するだけでなく、新たなパターンを継続的に学習して対応するシステムです。エージェンティックAIとの収束が面白いところです。MLが脅威をフラグ立てして人間の対応を待つのではなく、定義された境界内で自律的に脅威を検知、調査、封じ込めるML駆動のエージェントが登場するでしょう。攻撃者はすでにマシンスピードで動作しているため、対応速度が競争優位になります」。
アガルワル氏も同意しています。「MLが向かっている方向は、攻撃者の行動がどれだけ速く進化するかに追いつける、より適応的で継続的に再学習されるモデルです。言い換えれば、静的なルールセットが減り、本番環境からのリアルタイム学習が増えます」。
チャン氏は「攻撃者の初期段階の横方向移動に基づいて次の動きを予測する、『リアクティブ』な検知から『プリディクティブ』な防御へと移行します」と確認しています。
ただし、MLがエージェンティックの強みを取り込みながら、同時にエージェンティックの懸念を引き継がずに済むかどうかは、まだわかりません。
サルモナ氏はこう述べています。「MLはエージェンティックシステムとのより緊密な統合に向かっています——情報を提供し、かつアクションを引き起こすモデルです。そこに真のレバレッジがあり、そしてリスクも複合されます。MLモデルが誤ったシグナルを自動化されたワークフローに送り込むと、誰かが何かがおかしいと気づく前に、マシンスピードで、環境全体にわたって、誤ったアクションが生み出されます。コンテキストと継続的な検証はもはやオプションではありません——それはリスクを減らす自動化と、リスクを増幅させる自動化の違いそのものです」。
汎用人工知能（AGI）
OpenAI、DeepMind、Anthropic、xAIといった著名なAIフロンティアラボの多くは、汎用人工知能（AGI）の実現を目指しています。
サント=ミラー氏はこう説明しています。「AGIとは、AIの仮説的な能力段階であり、推論、適応、新概念の創造、そして理論上は意識に至るまで、人間の認知能力のあらゆる次元を機械が再現または超越できる状態を指します。すべての科学的取り組みにおいて、次のブレークスルーが実現するまであらゆることが不可能に思えるものです。200年前には車も存在せず、今では国内や別の惑星への飛行が当たり前に感じられます。50年前にはインターネットも存在せず、今ではコミュニケーションの大半が電子的に行われています」。
AGIの真に正確な定義は捉えどころがありません。ツァン氏はこう述べています。「AGIをどう定義するか本当にわかりませんし、それが重要だとも思いません。今後数年で、私たち全員を驚嘆させるものが作られるでしょう。モデルの改善ペースが十分に速いため、定義についての議論は本題ではないはずです」。
チャン氏は「経験から学習して重大な判断を下せる真のAGIは、ほとんどの研究者によって依然として数十年先とされています」と付け加えています。
多くの人がAGIは達成されると信じ、他の人は確信が持てませんが、ほとんどの人がその課題は難大で、タイムラインは不明だと認めています。フォラロン氏は「必然でも不可能でもなく、タイムラインを知っていると言う人は皆、推測しているだけです。狭いAIでは目覚ましい進歩を遂げましたが、現在のシステムができることとAGIが必要とするものとのギャップは、しばしば過小評価されています」と述べています。
AGIへの信頼性
将来のAGIエンティティへの信頼は道徳的ジレンマとなるでしょう。自分たちよりもはるかに多くの知識と深い知性を持つ存在の判断を信頼すべきでしょうか？その存在は、何百人かを利益に、何十人かを犠牲にする行動を取る際に正しい判断を下せるでしょうか？このような日常的なジレンマは誰もが直面します。しかし、最終的には機械であるものに選択の力を委ねることを私たちは受け入れるべきでしょうか？
答えはほぼすべてのサイバーセキュリティの問いへの答えと同じでしょう。「状況次第です」。しかし、何に依存するのかは、まだわかっていません。
AGIの使用・誤用・悪用
ツァン氏はこう提案しています。「実践的な立場は、使いながらそれがより有能になるにつれてガードレールを構築することです。危険なシナリオは、何らかの論評家やAI企業のCEOがAGI達成を宣言した場合ではありません。高度に有能なシステムが壊滅的な決定を下すか、高度な攻撃者によってターゲットに対して向けられる場合です。そして今日私たちが持っている技術は、すでに非常に備えができている状態といえます」。
壊滅的な決定は現在のAIでもすでに発生しており、それは増大する自律性に向かって抗いがたく進んでいるように見えます。ガードレールが安全策ですが、それはすべての惨事を防いできたわけではありません。マットソン氏はこう警告しています。「私が考える、セキュリティリーダーにとってより実践的な問いは、汎用人工知能を達成するかどうかではなく、汎用的な人工的権限に対して私たちが準備できているかどうかです。すでにAIエージェントに機密システムに対する意味のある意思決定権限を与えています。ガバナンスフレームワーク、アイデンティティアーキテクチャ、信頼モデルは、理論的なシンギュラリティが到来した後ではなく、今すぐ構築する必要があるものです」。
しかしここに、サイバーセキュリティのもう一つの道徳的ジレンマがあります。競走馬を制約して沿道の人々への副次的な損害を防ぐべきでしょうか。それとも自由に走らせ、速く進み、物事を壊すことを許すべきでしょうか。安全か、それとも潜在的に大きなビジネス上の利益か？
チャン氏はこう述べています。「AGIの大きなリスクは生成AIと似ており、機能性への焦点が適切なサイバーセキュリティのデューデリジェンスを曇らせることです」。ルッツィ氏は「AIをできるだけ強力にしようとすることで、組織が設定を誤り、過剰な権限とデータ露出につながる可能性があります。また過剰な権限を付与することで、重大な単一障害点を作り出す可能性もあります」と警告しています。
AGIが完全に実現された場合、サイバーセキュリティへの影響は計り知れないものとなるでしょう。
フォラロン氏はこうコメントしています。「AGIが達成されれば、私たちが知るサイバーセキュリティは両サイドで根本的に変わります。防御側には、新たな攻撃を真に推論し、攻撃者の意図を理解し、人間の指導なしにリアルタイムで防御を適応させるシステムが登場するでしょう。攻撃側には、人間のどのチームもパッチを適用できる速度より速く脆弱性を発見して悪用できるシステムへのアクセスを持つ攻撃者が登場するでしょう」。
チャン氏はこう述べています。「実現された場合、それは究極のゼロデイイベントとなるでしょう。AGIはあらゆるシステムの脆弱性を同時に発見して悪用できます。逆に言えば、AGIベースの防御は理論上、あらゆる脅威にリアルタイムで適応する『完璧な』セキュリティ態勢を作り出し、人間主導のハッキングの時代を事実上終わらせることができます」。
リシ氏はこう付け加えます。「AGIの世界では、回復力とレジリエンスが主要なセーフティネットとなります。最善のガバナンスでさえ、汎用知性のあらゆる行動を予測できないため、組織はリワインド機能を持たなければなりません」。
AGIの未来
サント=ミラー氏はこう述べています。「私たちはまだAGIから何度もの大きなブレークスルーの先にいます。それらのブレークスルーがいつ実現し、どれほど前進させ、何を変えるかを推定する専門家とは到底言えません。しかし科学の醍醐味は、不可能と思われていたことが可能であると証明されることにあります」。
ミラッコ氏はこうコメントしています。「私たちは機械が本当に考えられるかについて議論し続けています。一方、機械はMITの数学チームを問題解決で打ち負かし、司法試験に合格し、エクスプロイトを作成し、高度なオペレーションを実行しています。哲学的な議論は時代遅れになりつつあります。非常に優れた狭いAIとAGIの距離は、ほとんどの人が受け入れる準備ができているよりも速く縮まっています。私たちの見解では、AGIはそれほど遠くないですが、依然としてぼんやりとした閾値のままです。私たちはその閾値を超えたことに気づかないまま超えてしまうかもしれません」。
今日、AGIのアイデアは魔法のようです。明日、それは科学になるかもしれません。これは文学では新しい概念ではありませんが、現在のAIの開発・活用における今日の過ちから学ばなければ、明日の真のAGIは文字通り機械対機械の世界となり、人間の関連性は絶えず低下していくかもしれません。
アマラの法則はここでも適用されます。真のAGIの到来は、ほとんどの人が予測するよりも遠い先のことになる可能性が高いですが、それが来たとき、現在私たちが想像できるよりもはるかに有益で、はるかに危険なものとなるでしょう。
