AIにおけるリスクを解き明かす

人工知能（AI）の重要性に関する事実を踏まえ、ここ数か月、私はこのテーマを掘り下げてきました。ただし慎重に、生成AI（Gen AI）に基づくアプリケーションをどのように保護できるのかという要点を理解しようとしてきました。

私たちは、組織とエンドユーザーに利益をもたらし得るあらゆる領域で、AIが中心テーマとなっている時代を生きています。脅威インテリジェンス、インシデント対応、EDR、SOARソリューションなどを通じて、サイバー脅威の検知における防御や予測にメリットを加えることに加えて、です。

しかし、私たちが問うべきなのは、この新興技術のリスクをどれほど見ているのかということです。ChatGPT、Claude.ai、Meta.ai、Copilot、Gemini、Grokなど、SaaSベースのソリューションの利用を通じてAIが普及するにつれ、AIが私たちの日常に入り込み、主導権を握りつつあるのは事実です。この技術に適応しない人は、盤上から外れた駒だと見なされかねません。

Hynote.aiで会議を記録して自動要約を作成するにせよ、サイバーリスク管理計画を策定するにせよ、AIが日々の業務にもたらすスピードと俊敏性を私たちは本当に認識しなければなりません。すでに一部の企業では、従業員が転職を決めた場合、そのポジションが補充されないことがあり、組織は特定の業務をAIで置き換える実現可能性を評価する調査を行うことを検討しています。

AIの背後にあるリスクを理解する重要性

ここで、おそらく一部の専門家が気づいていない懸念点が出てきます。私たちはAIに支配されているのでしょうか。答えはおそらく「はい」「いいえ」「たぶん」のいずれにもなり得ます。しかし、それはこの技術に対して私たちがどの程度の可視性を持っているかに依存します。現実にはその背後に危険があり、だからこそ私たちの仕事は、そのようなリスクを是正するためにどう備えるかを知ることです。

私たちは、職業人としてどこに位置づけるべきか、そして雇用可能性（エンプロイアビリティ）を維持するためにどう備えるべきかを推し量るべきでしょうか。幻覚（ハルシネーション）のリスクは依然として現実的で、AIソリューションで発生し得るため、ある質問に対する答えが正確でない場合があります。というのも、AI学習で用いられる拡散モデルの背後にある既存手法は、ChatGPT、Gemini、Claudeなど多くのAIツールで使われるLLMにおける「トランスフォーマー」のようなコード生成技術を利用しているからです。現時点では、要求者（エンドユーザー、APIなど）が入力した質問に答えを返す前に、特定のデータを検証する能力にはまだ限界があります。

これは、企業および人間の文脈における重要な意思決定を伴い得る判断を下す前に、特定の回答を評価するために人間要因を考慮する必要が依然としてあることを意味し、示しています。たとえば医療診断の分析結果は依然として専門家による評価が必要ですし、重要システムの定量的リスク評価の場合も同様です。実に、考えるべきポイントです！

もう一つ問うべき重要な質問は、「AIソリューションをどこまで制限し、どこまで信頼すべきか？」です。確かに前述のとおり、多くの結果はポジティブになり得ます。しかし、あらゆる組織は、提供されるデータを通じたプライバシー、バイアス、公平性、透明性のリスクなど、情報セキュリティ専門家の注目を集めている点を含め、慎重さを考え維持すべきだということを忘れてはなりません。

基本的に、AIモデルの実行プロセスは3つのフェーズで構成されます：

1. リクエストに投入されるデータ。
2. このデータが、全体アーキテクチャを含む学習モデルによって評価される。
3. 提供される情報の結果

情報セキュリティの観点から言えば、ここが私たち情報セキュリティ専門家が、データセキュリティの視点で評価範囲において判断しなければならないポイントです。

市場にはすでに、NIST RMF AI、SAIF Google、ISO 42001, AI Control Matrix（AICM）、およびCloud Security Alliance（CSA）によるAI Model Risk Management Frameworkといったフレームワークがあります。さらに、脅威インテリジェンスの系統としてMITRE ATLAS、AIアプリケーション開発におけるセキュリティとしてOWASP Top 10 LLMsもあり、AI/ML分野で知られている主要な脆弱性を提示しています。これについては別の記事で掘り下げたいと思います。

私は特にNIST RMF AIと、CSAのAI Model Risk Management Frameworkを学んでおり、私の見解では、組織のサイバーリスク管理プログラムの範囲にAI/MLソリューションをマッピングして組み込むのに有効です。これらのフレームワークは、利用されているAIアプリケーションを理解・可視化し、企業文脈でこの技術を使用することで起こり得るリスク、影響、損害に対処するのに役立ちます。

NIST AI RMFおよびAI Control Matrix（AICM）フレームワークの活用について

最も普及しているフレームワークについて整理すると、NIST AI RMF 1.0は、関与する人々、組織、エコシステムの集合に目を向けることに焦点を当てています。これらは次のフェーズに分かれます：

• Govern（リスク文化を醸成する）
• Map（特定されたリスクの文脈と資産分類）
• Measure（リスクを特定・評価し、低減する）
• Manage（影響に応じてリスクを優先順位付けする）

このモデルは、サイバーセキュリティ統制の観点としてNIST CSFと統合できます。これの最も興味深い点は、フレームワークが無料であることです。

もう一つ、言及せずにはいられないモデルがAI Control Matrix（AICM）です。これは18のセキュリティドメインに分割された243の統制目的を含み、特にクラウド環境において、AIソリューションのすべてのセキュリティの柱を評価できるようにします。

AICMはAI-CAIQと統合されており、BSI AIC4 Catalog、NIST AI RMF、ISO 42001を含むフレームワークをカバーします。堅牢なAIソリューションには大規模な処理能力とエネルギーが必要で、それはデータセンターでしか得られません。このため、あらゆる地域で新たなデータセンター拡張に対するビッグテックによる巨額投資が見られます。

したがって、クラウドの概念と共有責任を深く理解することは、精度高く、安全に、そしてビジネスを満たすAIソリューションを実装し、競争に対して組織の能力を活かすための基本です。

その結果として、私はGenAIについていくつか調査を行い、特にこれらのフレームワークを学んでいます。これを踏まえると、私たちサイバーセキュリティ専門家にとっての大きな課題を特徴づけ、可視化すると、AIプロジェクトに関与するチーム間のつながりの重要性を確立することです。したがって、その連携はプロジェクト成功の優先事項であり、ガバナンス、サイバーリスク、倫理、規制・コンプライアンス、サイバーセキュリティ、データサイエンティスト、AI/ML開発者、人事、インフラおよびIT運用の関与を軽視すべきではありません。

サイバーセキュリティ専門家は訓練を受ける必要がある

私が強調したいもう一つの大きな課題は、サイバーセキュリティ専門家がこのAI/ML技術について訓練を受け、アーキテクチャ、使用される学習モデル、モデル改善を提案するRAG（retrieval-augmented generation）のような技術、そして評価されるべきサイバーセキュリティ戦略の適用といった技術的側面を理解する必要があるということです。CISOとサイバーセキュリティチーム、そして関与する他の部門は、これらの領域における統制の重要性に目を向けなければなりません：

• データ
• インフラ
• モデル
• アプリケーション
• アシュアランス
• ガバナンス

範囲として考慮すべきもう一つの要素：クラウド環境におけるAIアプリケーションの共有責任を改めて強調します。GenAIモデルとそれぞれのアプリケーションのセキュリティ原則は、AIアプリケーションモデルがどのように実行されるかを考慮しなければなりません。

ここでは、クラウドにおける共有責任を確立するための重要ポイントをいくつか挙げます：

• アプリケーションとしてのGenAI（パブリック、SaaS）
• プラットフォームとしてのGenAI（IaaSまたはPaaS）
• 自社でAIアプリケーションを構築（IaaS、オンプレミス）。

このモデルでは、前述のフレームワークの助けを借りて、データおよび学習モデルへのアクセス制御、データ管理と学習、プロンプト制御、モデル開発、モデル推論、モデル監視、インフラに関して、採用したAI戦略におけるリスクをマッピングし、整理し、管理することが可能になります。

枠にとらわれない発想

最後に、この記事で私が読者に喚起したい要点は、私たちサイバーセキュリティ専門家が自分たちの環境におけるリスクと影響をどのように観察しているのか、そして現実世界でそのようなGenAIソリューションを評価するためにどう備えるのかを考えてもらうことです。

私は特に、クラウド環境（SaaS）でこれらの既知のモデルのいくつかを探究してきましたが、Anthropicのソリューション（claude.ai）でも大いに楽しんでいます。このモデルでは、コードで堅牢なソリューションを構築できます。必要なのは創造性だけです。例として、私は完全なサイバーリスク管理（GRC）ソリューションを作成するよう依頼し、市場のいくつかのソリューションと比較し、PCI-DSS、NIST、CRI、ISO 27001などのベストプラクティスを満たすことを提案しました。すると、そのソリューションはバックエンド全体を作成し、残るのはフロントエンドの作成だけでした。数か月かかり得るプロジェクトが、投資額と関与する人員の努力次第で、数か月または数週間に短縮され得ます。

キャリアに価値を加え得る認定資格

結論として、私は最近、Cloud Security Alliance（CSA）が新たに立ち上げた認定資格Trusted AI Safety Expert（TAISE）のレビュー・プログラムにコントリビューターとして参加する機会がありました。AI/MLソリューションにおけるアーキテクチャと主要な保護メカニズムを理解し、探究したい方には、間違いなくおすすめします。

ただし、この分野の他の認定資格も考慮すると、私はISACAのAAISMの教材も探究し、推奨しています。これはAI/MLにおけるリスクガバナンスとセキュリティの観点から非常に興味深いものです。それでも、TAISEは、クラウド環境におけるリスク管理とガバナンスも取り込んだ、技術スコープにおけるより包括的な基盤を提供します。これこそが現実世界です。AIには大規模な処理が必要で、稼働に理想的な環境はクラウドです。

とはいえ、両者は相互補完的であり、最適な代替案と進むべき方向を評価するのは専門家次第です。賢明なことわざが言うとおりです。「知恵と知識を捨てるな、そうすればそれはあなたを守る。これを愛せ、そうすればそれはあなたを守り抜く。」

この記事はFoundry Expert Contributor Networkの一環として公開されています。
参加したいですか？