RSAC：研究者が世界初のAIセキュリティ・インシデント対応チームから得た教訓を共有

インフラや国家安全保障といった機微な分野でAIの利用が急増する中、カーネギーメロン大学のチームがAIセキュリティ対応という分野を切り開いている。

2023年夏、最初のコンピュータ緊急対応チーム（CERT）発祥の地である同大学ソフトウェア工学研究所の研究者たちは、AIおよび機械学習（ML）システム向けのインシデント対応の戦術・技術・手順（TTP）を定義するための研究開発を主導し、コミュニティの対応行動を調整する新たな組織を設立することが急務だと考えた。

それから6か月あまり後、ローレン・マクイルヴェニーとグレゴリー・トゥーヒルは、RSA Conference 2024で、世界初のAIセキュリティ・インシデント対応チーム（AISIRT）を運営して得た教訓を共有した。

AISIRTの必要性を説明する

AISIRTが立ち上げられたのは、マクイルヴェニーとトゥーヒルの研究データが、AIを活用した攻撃およびAIシステムへの攻撃が継続的に増加していることを示していたためだ。

「AI関連のシステムや技術が、現実の環境で標的にされていることに伴う活動が、今も数多く見られます」とトゥーヒルは述べた。

2人は、AIチャットボットや大規模言語モデル（LLM）システムといった生成AIツールに対する数多くの脅威に加え、AIモデルを動かすエンジンであるGPU（Graphics processing unit）カーネルを標的とする攻撃にも言及した。GPUカーネルの実装はメモリリークの影響を受けやすい場合があり、機密情報へのアクセスに悪用され得るという。

AISIRTは、カーネギーメロン大学とCERT部門のパートナーネットワークとの協力により開発された。

この文脈でマクイルヴェニーは、「脆弱性」には従来のソフトウェア脆弱性、敵対的機械学習の弱点、そしてサイバーとAIの複合攻撃につながる欠陥が含まれると説明した。

AISIRTの機能

AISIRTはサイバーインシデント対応における既存の交戦規則を活用し、その構造は従来のコンピュータ・セキュリティ・インシデント対応チーム（CSIRT）に着想を得ている。

主な構成要素は4つで、AIインシデント対応要素、AI脆弱性発見ツールセット、AI脆弱性管理フレームワーク、AI状況認識サービスから成る。

AISIRTには、次のような多様な関係者が関与する。

• 技術的側面を、影響を受ける関係者に分かりやすく伝えられるチームリード
• システム／データベース管理者
• ネットワークエンジニア
• AI／ML実務者
• 脅威インテリジェンス研究者
• 必要に応じて、カーネギーメロン大学およびその他の信頼できる業界／学術パートナーの専門家

将来的にマクイルヴェニーとトゥーヒルは、AISIRTを、防衛および国家安全保障機関向けのAIに関するベストプラクティス、標準、ガイドラインを更新・共有するためのハブとして位置づけたいと述べた。

また、学術界、産業界、防衛・国家安全保障機関、さらに立法機関にまたがるAIの実務コミュニティを確立する計画だという。

「ここで示しているAISIRTの構造の少なくとも20%は、将来的に進化していく必要があるでしょう」とマクイルヴェニーは見積もった。

AISIRTを6か月運営して得た教訓

• AIの脆弱性はサイバー脆弱性である
• AIの脆弱性はシステム全体にわたって発生している
• サイバーセキュリティのプロセスは成熟しており、AIを支えるために今後も進化し続けるべきである
• AIシステムは、今日の従来型ITとはいくつかの興味深い点で異なる
• AIシステムの複雑性が、トリアージ、診断、トラブルシューティングを難しくする
• 脆弱性を特定するためのツールはまだ整っていない
• AI開発者向けに調整されたセキュア開発トレーニング（例：DevSecOps）が必要である
• 開発サイクル全体を通じたAIシステムのレッドチームによるペンテストは、開発サイクルの早期に重大な弱点を特定できる

しかし2人は、AISIRT――そしてAIセキュリティ全体――はまだ黎明期にあり、AIを利用する組織やAIの脅威から守ろうとする関係者には、次のようなものを含め、未解決の疑問が無数に残っていると強調した。

• 新たに形成されつつある規制体制：AIシステムを利用する際の注意義務の基準は何か。また、AIシステムを開発する際の注意義務の基準は何か。
• 変化するプライバシーへの影響：AIシステムは市民のプライバシー権の維持にどのような影響を与えるのか。AIシステムは既存のプライバシー保護プロトコルをどのように弱体化させるのか。
• 知的財産への脅威：価値ある知的財産が生成AIシステムに漏えいした場合、どうすべきか。価値ある知的財産がAIシステム内で発見された場合、どうすべきか。
• ガバナンスと監督：AIのガバナンスと監督におけるベストプラクティスは何か。規制環境の違いにより、欧州と北米の事業ラインで別々のガバナンスモデルを確立する必要があるのか。

「AIセキュリティをめぐる疑問は、依然として答えを大きく上回っています。ですから、AIの利用とセキュア化の経験をぜひ共有するために連絡してください」とトゥーヒルは結論づけた。