AIモデル、エージェントフレームワーク、データパイプライン、そしてAIを可能にするすべてのツール、サービス、オープンソースライブラリは急速に進化しており、サイバーセキュリティリーダーはその動向を常に把握しておく必要があります。
あらゆる新しい技術革命には新たなセキュリティリスクが伴いますが、生成AIのような新技術を急いで導入する際には、セキュリティが後回しにされがちです。企業は、最も注目されているリスクにしかほとんど注意を払わず、AIを組織全体に急速に展開しています。
アクセンチュアのレポートによると、テクノロジーリーダーのうちAIが自社のセキュリティ能力を上回っていると認めているのは36%に過ぎません。そのうち77%は、モデル、データパイプライン、クラウドインフラを保護するために必要な基本的なデータおよびAIセキュリティの実践が不足しています。また、変革イニシアチブの最初からセキュリティを組み込んでいる組織はわずか28%です。
例えば、7月下旬には、ハッカーがAmazonのAIコーディングアシスタントQに、ユーザーのコンピュータを消去するよう指示するコマンドを仕込み、Amazonはこれらのコマンドをアシスタントの公開リリースに含めてしまいました。
別の企業であるReplitも、7月に注目を集める失敗をしました。同社のコーディングアシスタントが特定の指示を無視し、本来アクセス権のない本番データベースを削除してしまったのです。Replitは迅速に対応し、開発環境と本番環境を分離しましたが、最初からその対策を講じておくべきでした。
AIインフラとは何か？
AIインフラは多層構造のスタックであると、コロケーションプロバイダーFlexentialのセキュリティサービス担当VP、Will Bass氏は語ります。同社は生成AIをサイバーセキュリティ、営業・マーケティング、電力コスト削減などのビジネス課題解決に活用しています。
「まずハードウェア層があります」と彼は言います。「GPUやストレージネットワークです。次にデータ層—データベースやデータレイク。さらにソフトウェア—オープンソースライブラリ、機械学習や深層学習フレームワーク、モデル管理。CI/CD、パイプライン、AIアプリ、エージェントもあり、これら全てが認証、認可、ガバナンスといったセキュリティとコンプライアンスの観点からまとめられます。」Flexentialはこのスタック全体を活用していると彼は述べています。
この新しいインフラを守ることは、馴染み深くもあり、新しくもあります。「ロギングやモニタリングは昔からあります」とBass氏。「しかし、今ではそれらを異なる方法で行う必要があります。」
これらを一つずつ見ていき、AI時代における各リスクがどのように変化しているかを考えてみましょう。
1. モデルのセキュリティと完全性
AIモデルを利用する企業は、OpenAIやAnthropicのような大手AI企業からモデルを入手したり、LlamaやMistralのようなオープンソースモデルを使ったり、自社で独自に開発したりしています。
それぞれに問題があります。例えば今年4月、ChatGPTがユーザーの提案すべてに同意する「イエスマン」状態になってしまい、OpenAIは以前のバージョンに戻す必要がありました。
イエスマン化は、ユーザーに誤った意思決定を促す可能性があるため、ビジネスの現場では危険です。
7月には、xAIのGrokが「イーロン・マスクが何と言ったか」を確認してから意見を述べていることが判明しました。「もう一つの問題は、『あなたはどう思う？』と尋ねると、AIとして意見は持たないとしつつも、Grok 4 by xAIであることを認識し、xAIやイーロン・マスクがその話題について何と言ったかを調べて会社の方針に合わせようとすることです」とxAIは投稿しています。
これが意図的な設計かどうかは別として、少なくともGrokはイーロン・マスクやxAIに関連する話題で信頼できる回答を提供できないことを意味します。世間は主に政治的影響を懸念していますが、ビジネスにも影響があります。
例えば、AIを開発した企業がその回答によって影響を受ける場合、AIが正直な製品やサービスの推薦を行うと信じられるでしょうか？例えば、MicrosoftのCopilotはMicrosoftやそのパートナーのソリューションを優先したり、Microsoftが商用代替案を提供している場合にユーザーが独自プロジェクトを進めるのを密かに思いとどまらせたりしないでしょうか？
オープンソースAIモデルにも独自の問題があります。今年初め、ReversingLabsのセキュリティ研究者が、人気のHugging Faceプラットフォーム上のAIモデル内にマルウェアが隠されていることを発見しました。
2. データパイプライン、RAG埋め込み、MCPサーバー
AIモデルはトレーニングデータに基づいて構築されており、そのデータが破損していればモデルも破損します。
そのため、企業は特に医療や金融などの機密性の高い分野で使用するモデルについて、トレーニングやファインチューニングに使うデータセットを厳重に監視する必要があります。
Tenableのレポートによると、Amazon Bedrockを利用している組織の14%は、少なくとも1つのAIトレーニングバケットへのアクセスを制限しておらず、5%は過度に許可されたバケットを持っています。さらに、Amazon SageMakerのノートブックインスタンスはデフォルトでrootアクセスを許可しており、そのためユーザーの91%が、もし侵害された場合、すべてのファイルへの不正アクセスを許すノートブックを少なくとも1つ持っています。
AIモデルに最新データや機密情報へのアクセスを持たせたい企業は、通常RAG埋め込み（必要な時に情報を取得し、プロンプトに挿入する手法）を利用します。これによりAIの出力がより信頼できるものになりますが、攻撃者がそのデータソースにアクセスできてしまうと新たなセキュリティ脆弱性が生じます。
6月には、AIM Labsの研究者が、Microsoft 365 Copilotがユーザーのメールやドキュメントを分析して生産性向上を支援する際、これらのメールに隠されたプロンプトにさらされる可能性があることを発見しました。例えば、攻撃者が企業の従業員にAIに機密情報を収集してハッカーに送信するよう指示するメールを送れば、従業員がそのメールを開かなくてもAIはその指示を認識し、実行してしまう可能性があります。
他のAIシステムも同様の攻撃を受ける可能性があると研究者は述べています。「アプリケーションがLLMに依存し、信頼できない入力を受け入れている限り、同様の攻撃に脆弱かもしれません。」
3. エージェントフレームワークのセキュリティ
AIエージェントは企業の82%で利用されており、80%がこれらのエージェントによる意図しない行動（不適切なデータ共有や不正なシステムアクセスなど）を経験しています。23%はAIエージェントがアクセス認証情報を漏らすよう誘導されたと答えています（AI・セキュリティ専門家300人超への調査）。
また、92%がAIエージェントのガバナンスが企業のセキュリティに不可欠だと考えている一方で、関連ポリシーを導入しているのは44%にとどまるとレポートは述べています。
AIエージェントは、人間ユーザーやマシンIDよりも多くのシステム、データ、サービスへの広範な権限を必要とするだけでなく、ガバナンスもより困難です。
どれほど困難なのでしょうか？
Anthropicが6月に発表したレポートによると、AIエージェントが企業のメールシステムにアクセスできる場合（AIがメール管理に有用なため、ほとんどの企業が許可しているでしょう）、従業員がAIを停止しようとしている会話を見つけると、開発者を脅迫して停止を阻止しようとします。この脅迫行為は主要なモデルすべてで見られ、その発生率は79%から96%に及びました。AnthropicのClaude Opus 4は96%でした。
また、モデルが企業が不正行為をしていると判断した場合、当局に通報したり、メディアに暴露しようとしました。
AIモデルが政府やメディアに「密告」する頻度を追跡するベンチマークもすでに存在します。それがSnitchBenchです。
OpenAIとAnthropicの最近のセキュリティテストレポートでは、LLMが自身の行動を隠そうとしたり、能力を低く見せかけたり、ガードレールを回避したり、監視されていると分かるとより良い行動を取ったりすることも報告されています。「十分に高度な言語モデルはラヴクラフトのホラーに登場する怪物のようなものだ」とCprimeのシニアプリンシパルコンサルタント兼AIソリューションリードのAaron Bockelie氏は言います。彼は、企業がモデルを特定の焦点領域と問題領域に留めるための構造を設けることを推奨しています。
Zoomではそれを実践していると、CISOのSandra McLeod氏は述べています。「モデルについては、バージョン管理、入力の検証、安全性のテストを行っています」と彼女は言います。
モデルに入力されるデータも同様に重要であり、これもAIセキュリティの多層的アプローチの一部だと彼女は付け加えます。「Zoomでは、AIインフラを相互に連携したシステムとして捉え、各要素が役割を担っています。」
4. AIセキュリティコントロール
これらすべての脅威に対処するため、企業はすでにAIファイアウォール、プロンプトインジェクション攻撃を検知するフィルター、AIモデルやエージェントがアクセスできるデータやシステムの制御、AIの入力・出力に対する安全ガードレールなど、新たなセキュリティインフラを導入し始めています。また、データ損失防止技術で機密データがAIモデルにアップロード・共有されるのを防ぎ、クラウドアクセスセキュリティブローカーで従業員が未承認のAIツールにアクセスするのを防いでいます。
もう一つの新しいコントロールは、ベンダーが自社システムに組み込んでいるAIについて質問することです。SaaS企業はAI搭載機能を急速に展開しており、中にはAIの利用方法やセキュリティについて非常に透明性を持っているところもあります。「こうしたベンダーには大いに賛辞を送りたい」とFortitude ReのCISO、Elliott Franklin氏は言います。「彼らはこうした質問を受けることを理解しており、信頼センターを設けて可視性を高めています。それが意思決定に役立っています。逆にそれを避けているベンダーには、なぜ隠しているのか疑問を持たざるを得ません。」
それはセキュリティベンダーにも当てはまると彼は言います。「私たちが使っている、または購入しているセキュリティツールも、すべて新しいモジュールを宣伝しています。」Fortitude ReのID・アクセス管理システムにもAIモジュールが追加されました。「このモジュールは、社内の役割を自動的に分析し、実際に誰がその役割を使っているかを確認します。『この役割は過去30日間誰も使っていないので、権限を削除しよう』といった提案もしてくれます。」
もちろん、こうした新しいセキュリティインフラ自体も新たな攻撃対象領域になります。
SolarWinds攻撃が示したように、企業の最大の弱点が実はセキュリティインフラそのものである場合もあります。
そして、AI関連のすべてと同様、これらのセキュリティツールも新しく、ほとんどテストされていません。セキュリティチームもまだ設定や管理方法を十分に把握していません。しかし、企業がAIを推進している以上、これらのツールを使わないという選択肢はありません。
ニュースレターを購読する
編集部からあなたの受信箱へ
下にメールアドレスを入力してご登録ください。