AI 運用を拡張・実行するために使用される、いわゆる「AI スキル」は、データ窃取、妨害行為、および業務妨害に対して危険なほど露出していると TrendAI が警告した。
Trend Micro の新たに命名された事業部門は、今週公開されたレポートの中で、AI スキルは人間が読めるテキストと、大規模言語モデル (LLM) が読んで実行できる命令を組み合わせた成果物であると説明した。
「AI スキルは、人間の専門知識、ワークフロー、運用上の制約といった要素から、意思決定ロジックに至るまで、あらゆるものをカプセル化します」とレポートは説明した。「この知識を実行可能なものに取り込むことで、AI スキルは組織が以前は達成不可能だったレベルでのスケーラビリティと知識移転を実現することを可能にします。」
このアプローチの例としては、Anthropic の Agent Skills、OpenAI による GPT Actions、Microsoft による Copilot Plugin がある。
AI の脅威についてさらに読む: 企業での使用が 91% 急増する中で AI セキュリティの脅威が迫る。
このように、これらの成果物は、金融サービスにおける取引、公共部門におけるサービス提供の強化、またはメディア部門におけるコンテンツ生成のための AI の使用をサポートできると TrendAI は述べた。
しかし、これらのスキルは、顧客データや独自データ、および意思決定ロジックを露出させる可能性があるため、企業のセキュリティにリスクをもたらすとも指摘した。
「攻撃者がスキルの背後にあるロジックへのアクセスを取得すると、それは彼らに悪用の大きな機会を与える可能性があります」とレポートは警告した。「攻撃者は、取得したデータを単に取引したり漏洩させたりすることを決定する可能性もあり、その結果、組織の機密情報が露出します。」
運用データとビジネスロジックへのアクセスがあれば、攻撃者は公共サービスを妨害し、製造プロセスを妨害し、患者データを盗み出すなど、さらに多くのことが可能になる。
AI 対応 SOC は増大するリスクに直面
これらの攻撃シナリオのリスクは、AI 対応 SOC にとって特に深刻である。
脅威アクターは、SOC における検知の盲点を特定し、悪用する可能性がある。この点において、インジェクション攻撃が大きな課題であると TrendAI のレポートは主張した。
「AI スキルは、ユーザーが提供するデータとユーザーが提供する命令を混在させ、スキル定義もデータと命令の両方を混在させる可能性があり、外部データソースを参照することもあります」と TrendAI は説明した。
「このデータと実行可能なロジックの組み合わせは曖昧さを生み出し、それが防御ツール、さらには AI エンジン自体にとっても、正規のアナリストの命令と攻撃者が提供したコンテンツを安全に区別することを困難にします。したがって、インジェクション攻撃に対する防御ができません。」
AI スキルを保護するための原則
ネットワーク防御者にとっての課題は、彼らのセキュリティツールの多くが、AI スキルである非構造化テキストデータからの脅威を効果的に検知、分析、緩和できないことである。
これらのチームを支援するために、レポートは AI スキルに特化した新しい 8 段階のキルチェーンモデルと、悪意のある活動を検知する新たな機会がある場所を概説した。スキルの整合性監視を実行し、SOC ロジック操作を探し、実行、認証情報アクセス、データフロー異常をハンティングすることを推奨した。
確立されたセキュリティのベストプラクティスも役立つ。レポートは以下のように結論づけた:
- スキルを機密 IP として扱う。適切なアクセス制御、バージョン管理、変更管理を伴うライフサイクル全体でリスクを評価し緩和する
- スキルロジックとデータを信頼できないユーザー提供データから分離する。後者は悪用の機会につながる可能性がある
- 実行権限を制限する。スキルを設計する際に最小権限の原則を適用し、横方向の移動を防ぐために実行コンテキストを最小限必要な権限に制限する
- 展開前に攻撃者が運用ロジックをどのように悪用する可能性があるかをテストする
- 継続的に監視、ログ記録、監査を行う。これはあらゆるビジネスプロセスで行うべきことである。これは、従来のセキュリティ境界が曖昧になる AI 対応環境では特に重要である
翻訳元: https://www.infosecurity-magazine.com/news/ai-skills-dangerous-new-attack/
