セキュリティ研究者は、ユーザーと開発者が認識しておくべきAIシステムを標的としたさまざまなサイバー問題を明らかにした――デモ攻撃として示されたものもあれば、すでに現実の環境で脅威となっているものもある。
エージェント型AIの年は、企業にとって大幅な生産性向上という約束とともに到来したが、新しいツールやサービスの導入を急ぐ動きは、企業環境に新たな攻撃経路も開いた。
ここでは、今年セキュリティ研究者によって明らかになったAIエコシステムに対する主なセキュリティリスクを紹介する。実際の環境で確認されたものもあれば、研究者が実証した攻撃として示されたものもある。
従業員に、業務プロセスを自動化するためにAIツールを自由に試させるのは、創造的な解決策を生み出す良いアイデアに聞こえるかもしれない。しかし、厳格なポリシーと監視の下で行わなければ、すぐに制御不能になり得る。
米国と英国の企業に勤める従業員2,000人を対象にした最近の調査では、49%が雇用主に承認されていないAIツールを使用しており、半数を超える人が、これらのツールによって自分の入力がどのように保存・分析されるのかを理解していないことが明らかになった。
オンプレミスであれクラウドであれ、AI関連のツールやサービスを展開する際には、設定不備や既知の脆弱性を見逃さないために、セキュリティチームを関与させる必要がある。
Orca Securityは、「2025年版クラウドセキュリティの現状」レポートで、現在84%の組織がクラウドでAI関連ツールを利用しており、62%が環境内に少なくとも1つの脆弱なAIパッケージを抱えていたと報告した。
今年、ReversingLabsのセキュリティ研究者は、オープンソースモデルやその他の機械学習資産の最大のオンラインホスティングデータベースであるHugging FaceにホストされたAIモデル内にマルウェアが隠されていることを発見した。別件として、Alibaba CloudのAI研究部門であるAliyun AI LabsのAIクラウドサービスと連携するSDKを装った、Python Package Index（PyPI）上のトロイの木馬化されたパッケージも発見した。
いずれのケースでも、攻撃者はPickleのオブジェクトシリアライゼーション形式を悪用してコードを隠していた。PickleはPythonの形式で、最も人気の高い機械学習ライブラリの1つであるPyTorchで使用するAIモデルの保存に一般的に用いられている。
AI認証情報の窃取
攻撃者も自らの活動にAIを取り入れており、できれば料金を支払わず、他人名義で利用したいと考えている。公式APIやAmazon Bedrockのようなサービスを通じてLLMにアクセスできる認証情報の窃取は、いまや広く見られるようになり、さらには名称まで付いた：LLMjacking。
今年、Microsoftは、LLMの認証情報を盗むことに特化したグループに対して民事訴訟を提起した。同グループは盗んだ認証情報を使い、通常組み込まれている倫理的な安全策を回避するコンテンツを生成するための有料サービスを、他のサイバー犯罪者向けに構築していた。
LLMへのAPI呼び出しが大量に行われると、盗まれた認証情報の所有者には多額の費用が発生し得る。研究者は、最先端モデルをクエリする場合、1日あたり10万ドル超のコストになる可能性があると推定している。
プロンプトインジェクション
AIツールには、まったく新しい種類のセキュリティ脆弱性も伴う。その中で最も一般的なのがプロンプトインジェクションであり、LLMが何を実行すべき指示として解釈し、何を分析すべき受動的データとして扱うのかを制御することが非常に難しいという事実に起因する。設計上、両者に区別はない。LLMは人間のように言語や意図を解釈しないからだ。
その結果、第三者ソースからLLMに渡されるデータ――たとえば文書、受信メール、Webページなど――に、LLMがプロンプトとして実行してしまうテキストが含まれる可能性がある。これは間接プロンプトインジェクションと呼ばれ、LLMが文脈取得やタスク実行のためにサードパーティツールと連携するAIエージェントの時代において、大きな問題となっている。
今年、研究者はGitLab Duo、GitHub Copilot ChatといったAIコーディング支援、ChatGPT、Copilot Studio、Salesforce EinsteinのようなAIエージェント基盤、PerplexityのComet、MicrosoftのCopilot for Edge、GoogleのGemini for ChromeといったAI対応ブラウザ、さらにClaude、ChatGPT、Gemini、Microsoft Copilotなどのチャットボットに対するプロンプトインジェクション攻撃を実証した。ほかにも多数ある。
これらの攻撃は、少なくとも機密データの流出につながり得るが、利用可能なツールを使ってAIエージェントに別の不正なタスクを実行させることもでき、場合によっては悪意あるコード実行に至る可能性もある。
プロンプトインジェクションは、第三者データをLLMに渡す形で組織が構築するすべてのカスタムAIエージェントにとってリスクとなる。完全な防御は存在しないため、緩和には多層的なアプローチが必要だ。これには、タスクごとに別々のLLMインスタンスへ分割してコンテキスト分離を強制すること、エージェントやアクセス可能なツールに最小権限の原則を適用すること、機微な操作の承認に人間を介在させる（human-in-the-loop）こと、プロンプトインジェクションでよく使われる文字列を入力からフィルタリングすること、取り込んだデータ内の命令を無視するようLLMに指示するシステムプロンプトを用いること、構造化データ形式を使うこと、などが含まれる。
不正および脆弱なMCPサーバー
Model Context Protocol（MCP）は、LLMが外部データソースやアプリケーションとやり取りして推論のためのコンテキストを強化する方法の標準となっている。このプロトコルは急速に採用が進み、AIエージェント開発の重要な構成要素となっており、現在では数万のMCPサーバーがオンラインで公開されている。
MCPサーバーは、標準化されたAPIを通じてアプリケーションがその機能をLLMに公開できるようにするコンポーネントであり、MCPクライアントは、その機能にアクセスするためのコンポーネントである。MicrosoftのVisual Studio Codeのような統合開発環境（IDE）や、それをベースにしたCursor、Antigravityは、MCPサーバーとの統合をネイティブにサポートしており、Claude Code CLIのようなコマンドラインインターフェースツールからもアクセスできる。
翻訳元: https://www.csoonline.com/article/4111384/top-5-real-world-ai-security-threats-revealed-in-2025.html
