悪意のあるAIエージェントを攻撃前に見抜く方法

出典: Pattara via Alamy Stock Photo

論評

今日の企業は AIによる詐欺の問題を抱えていることを認識しています — そして、エージェンティックAIがより広く展開されることで、全く新しい次元 が マシン同士の戦いにもたらされます。AIでAIに対抗するだけでは成功できません。人とプロセスも進化させる必要があり、その第一歩はセキュリティチームと不正対策チームのより緊密な連携です。

自動化された防御は不可欠です。しかし、フィッシングや認証情報ベースの攻撃が依然として成功している 現状を踏まえると、悪意のあるエージェントがしばしば正規のものに見え、アクセスを得てしまうことを受け入れなければなりません。これらに対抗するには迅速な対応が求められますが、オンライン商取引を麻痺させては本末転倒です。これは昔からあるジレンマ、すなわち「セキュリティがビジネスの足を引っ張る」問題です。ただし、今やそのリスクははるかに高くなっています。たとえば、Mirai型ボットネットが悪意のあるAIエージェントによって動かされるような脅威を想像してください。それこそが、私たちが先回りして対処すべき脅威です。

意図の認識にはセキュリティと不正対策チームの統合が必要

悪意のあるエージェントを見抜く最も効果的な方法の一つは、その行動に注目することです。以下は、決済やコマースの現場から得られた、善良なエージェントと悪意のあるエージェントを区別するための5つの教訓です。

1. 行動分析と意図推定

前述の通り、悪意のあるエージェントを検出する最善の方法は、その意図を理解することです。善良なエージェントは信頼できるユーザーの行動パターンを模倣する傾向があります。一方、悪意のあるエージェントはしばしば手がかりを残します。エージェントの意図を示す主な指標は以下の通りです。

意図モデリングは、検出の視点を「このエージェントは何をしているか？」から「なぜそれをしているのか？」へと転換します。

2. 行動的アイデンティティの連携

たとえエージェントが新規であっても、その行動から既知の信頼またはリスクプロファイルに結びつけることができます。ジャーニーフロー、タイミング、購買行動を分析することで、システムはエージェントが既知の良好な顧客に似ているか、詐欺師に似ているかを判断できます。追跡すべき主な行動は以下の通りです。

この「デジタルボディランゲージ」により、システムは静的なIDを超えて行動的な指紋を評価できます。

3. シグナルレベルの整合性チェック

悪意のあるエージェントは、しばしばデバイスやブラウザレベルのデータを改ざんして自身の正体を隠そうとしますが、善良なエージェントは偽装しません。偽装の指標には以下があります。

シグナルが一致しない場合、システム（および人間のアナリスト）はより詳細な調査を行うべきです。

4. エージェントの帰属とシグネチャ認識

マルウェアに指紋があるように、エージェントのフレームワークやトラフィックパターンにも指紋があります。善良なエージェントは、既知のツールや認証済みドメイン、追跡可能な資格情報を持つ企業ツールから来ることが多いです。一方、悪意のあるエージェントは次のような傾向があります。

帰属やクラスタリング技術により、チームは不正が発生する前にインフラレベルのパターンを早期に検出できます。

5. リアルタイムリスクスコアリングと適応的対応

現代の不正対策システムは二者択一的なアプローチを取りません。代わりに、行動、文脈、リスク指標に基づいてエージェントをリアルタイムでスコアリングします。これにより、以下のようなより微妙な対応が可能になります。

これらのシステムは、エージェントの行動が進化するにつれて適応し、善良なエージェントへの摩擦を最小限に抑えつつ、悪意のあるエージェントにはより厳しく対応できます。

6. マシン同士の戦い：人間の関与と継続的学習

最も有望な防御策の一部は、AIエージェントを使ってシステムをシミュレーションし、ストレステストを行い、検出ルールや設定を自動的に洗練します。フラグが立てられたエージェントの活動は、人間のアナリストに送られ、レビュー、ラベリング、トレーニングが行われます。この人間の関与を含むモデルにより、不正対策チームとセキュリティチームは次のことが可能になります。

その結果、AIと人間の専門知識が互いに磨き合う継続的なフィードバックループが生まれます。

とはいえ、これを長期的に機能させるには、不正対策チームとセキュリティチームが分断されたままではいけません。セキュリティは認証を担当し、不正対策は取引行動を監視します。両者はAIエージェントの活動の背後にある意図を判断するため、ユーザージャーニー全体をリアルタイムで把握する必要があります。ユーザーがエージェントに自分の代わりに取引を許可し始めると、ボットが正規の商取引に大規模に関与するようになり、状況は一変します。

AIエージェントは単なる強化された自動化ではなく、強力な新たな収益創出チャネルとして急速に登場しています。そのため、企業はエージェントの認可や同意に関する強固な管理が必要となり、それがセキュリティと不正対策の両プロセスを再構築することになります。これはまさに新しい世界であり、その中でAIエージェントの意図を迅速かつ正確に見極めることが重要となります。それは、不正対策、セキュリティ、リスク、DevOpsチーム間の緊密な連携なしには実現しません。

エージェンティックAIの台頭は、マシン同士の戦いが始まったばかりであることを意味します。そして勝利するためには、人間とマシンの両方のエージェントが協力して取り組む必要があります。