AIエージェントは、実験段階から日常の業務運用へと急速に浸透しつつあります。ユーザーの質問を待って応答する従来の生成AIツールとは異なり、エージェントは自ら行動を起こすことができます。システムへのアクセス、情報処理、アプリケーションとの連携、そしてさまざまな自律性のレベルでタスクを完了させることが可能です。
この能力は生産性の面で大きな可能性をもたらす一方、セキュリティの前提条件を変えてしまいます。
危険なのは、単にAIが既存のサイバー攻撃を効果的にするというだけではありません。組織は今や、AIを悪用する攻撃者、AIシステムそのものを操作しようとする攻撃、そして自組織の環境内で完全には把握しきれていないアクセス権や権限を持って稼働するAIエージェントという、複数の課題に同時に対応しなければならなくなっています。
セキュリティチームが特に注意すべき領域は、次の4つです。
1. 攻撃者はAIを使って従来型の手口を強化している
今日組織が直面するサイバー脅威の多くは、根本的に新しいものではありません。フィッシング、ソーシャルエンジニアリング、脆弱性の悪用、マルウェアといった手口は、依然として脅威の中心を占めています。
AIが変えているのは、攻撃者が達成できる速度、規模、そしてパーソナライゼーションのレベルです。
生成AIを使えば、犯罪者ははるかに少ない労力で非常に説得力のあるソーシャルエンジニアリング用コンテンツを作成できます。何千人にも同じ内容のフィッシングメールを一斉送信する代わりに、攻撃者は個々の標的に合わせて言葉遣いや文脈、トーンを調整し、メッセージの信憑性を大幅に高めることができるようになっています。
AIツールは脆弱性の調査を加速させ、侵入プロセスの一部を自動化する助けにもなります。自律性を増したシステムは、標的の特定や弱点の調査から、悪意あるコンテンツの作成、攻撃の後続段階の調整に至るまで、幅広い活動を支援できる可能性があります。
これは防御側にとって速度の問題を生み出します。人間の攻撃者が手作業で偵察を行ったりキャンペーンを作り込んだりすることを前提に設計されたプロセスは、自動化によって同じ作業が格段に速く行われるようになると、対応しきれなくなる恐れがあります。
2. AIシステム自体が攻撃対象になりつつある
2つ目の課題は、AIがもはや単に攻撃者に使われる道具ではないという点です。AIは攻撃者に狙われる対象そのものにもなり得ます。
組織に導入されるAIシステムはそれぞれ、セキュリティチームが検討すべき新たな侵入経路を生み出す可能性があります。これは、AIエージェントがメール、ファイル、社内アプリケーション、その他の業務システムに接続されている場合に、特に重要になります。
プロンプトインジェクションはその一例です。攻撃者は、AIシステムが処理すると想定される情報の中に、悪意ある指示を紛れ込ませることができる場合があります。エージェントが正当な指示と信頼できないコンテンツを確実に区別できなければ、その指示によってエージェントの挙動が影響を受ける恐れがあります。
その他のリスクとしては、AIシステムが依拠するデータやメモリの汚染、エージェントに割り当てられた権限の悪用、基盤モデルの操作、サードパーティ製コンポーネントやAPIの悪用などが挙げられます。
メールを読み、カレンダーにアクセスし、ユーザーに代わって操作を実行できるAIアシスタントを例に考えてみましょう。攻撃者は、従来の意味でアシスタントを侵害する必要はないかもしれません。エージェントが取り込む情報を操作するだけで、意図しない挙動を引き起こすのに十分な場合があります。
そのため、セキュリティ上の根本的な問いも変わってきます。もはや単に「攻撃者はこのシステムにアクセスできるか」だけでは済みません。
セキュリティチームは「攻撃者はこのシステムが下す判断に影響を与えられるか」も問わなければなりません。
3. シャドーAIは次のシャドーITになりかねない
組織はこれまで長年、シャドーITへの対応に追われてきました。正式な承認や管理を経ずに企業環境に持ち込まれるアプリケーション、クラウドサービス、デバイスの問題です。
AIも同様の課題をもたらしますが、その影響はさらに大きくなる可能性があります。
従業員が仕事を楽にしてくれるツールに関心を持つのは当然のことです。ブラウザ拡張機能、生産性向上アシスタント、会議ツールなどのアプリケーションは、ますますAI機能を搭載するようになっており、ユーザーがそうした機能が企業情報とどのように連携しているかを十分に理解していない場合も少なくありません。
これにより「シャドーAI」、すなわちセキュリティチームが十分に把握できていないまま組織内で稼働するAI搭載ツールが生まれる可能性があります。
同時に、AIエージェントは有用な作業を行うために、かなり広範なアクセス権を必要とすることが多くあります。たとえば、管理業務の自動化を目的としたエージェントには、データの読み取り、アプリケーションへの認証、複数システムにまたがる変更を行う権限が必要になる場合があります。
可視性の乏しさと大きな権限、この組み合わせには特に注意が必要です。
エージェントが広範な権限を持っている場合、そのエージェントを侵害したり操作したりされれば、攻撃者にAIツール自体をはるかに超えたアクセスを許してしまう可能性があります。連携されたエージェントは、攻撃者が小さな弱点を連鎖させ、一見軽微に見える問題をより大規模なセキュリティインシデントへと発展させる機会も生み出しかねません。
したがって、最小権限の原則は、人間のユーザーと同様にAIのアイデンティティに対しても同じくらい重要になります。
4. セキュリティ対策はAIの速度に合わせて動く必要がある
これらのリスクへの対応として、組織が従業員によるAI利用を全面的に禁止する必要はありません。目指すべきは、適切な可視性、ガバナンス、統制のもとでAIを導入することです。
そのためにはまず、環境内で実際に何が稼働しているかを把握することから始める必要があります。
新しいAI搭載ツールが次々と登場する世界では、定期的な棚卸しだけでは不十分な場合があります。セキュリティチームは、企業システムと連携するエージェントやAIアプリケーション、それらがアクセスできるデータ、そして保持している権限について、継続的な可視性を確保する方向に取り組むべきです。
組織はまた、AIツールの承認や導入方法に関する明確なポリシーを確立すべきです。導入を容易にするという理由だけで広範な権限を付与するのではなく、エージェントが実行すべきタスクに見合った範囲のアクセス権を与えるべきです。
脅威モデリングもますます重要になっていくでしょう。MITRE ATLAS、NISTのAIリスクマネジメントフレームワーク、生成AIおよび大規模言語モデルアプリケーションに関するOWASPのガイダンス、GoogleのSecure AI Framework、ISO/IEC 42001といったフレームワークは、AI関連リスクについて体系的に検討するための有用な枠組みを組織に提供してくれます。
最後に、防御側は既存の統制がマシンスピードで対応できるかどうかを検討する必要があります。自動化されたシステムが人間のチームが現実的に介入できるより速く機会を発見・悪用・対応できるのであれば、セキュリティの自動化とAI支援による防御は、今後ますます対応の一部を占めるようになるでしょう。
AIの導入とAIのセキュリティは一体で進めなければならない
AIエージェントは、デジタル労働力の一部として当たり前の存在になっていくと見られます。
そのため、これらを保護することは、もはやAI特有の専門的な課題ではなく、サイバーセキュリティの根幹に関わる問題になりつつあります。
セキュリティ責任者は、どのようなエージェントが存在するのか、それらが何にアクセスできるのか、どのような行動を許可されているのか、そしてそれらの行動をどのように監視できるのかについて、可視性を確保する必要があります。同時に、同じ技術を使ってより速く動き、より大規模にパーソナライズされた攻撃を仕掛けてくる敵対者の存在も考慮に入れなければなりません。
AIの恩恵を最も大きく受ける組織は、必ずしも最も早くエージェントを導入した組織とは限りません。それは、自律性を取り入れながらも、その背後にあるアイデンティティ、権限、データ、行動に対する統制を失わない組織です。
AIセキュリティは、導入した後に付け加えるようなものであってはなりません。導入と歩調を合わせて発展させていく必要があります。
Erichによるブログの全文はこちらからお読みいただけます。
