セキュリティ専門家の半数がGenAI導入の一時停止を希望

攻撃的セキュリティ企業Cobaltの新しいレポートによると、セキュリティ専門家の約半数（48%）が、防御を再調整するために生成AIの導入を「戦略的に一時停止」する必要があると考えています。

調査対象となったセキュリティリーダーおよび実務者のほとんど（94%）が、過去12か月間に業界内での生成AIの採用が大幅に増加していると述べました。

心配なことに、回答者の36%が、生成AIの導入速度が自分たちのチームが管理できる速度を超えていると認めました。

多くのセキュリティ専門家が生成AI導入の戦略的な一時停止を望んでいるにもかかわらず、CobaltのCTOであるGunter Ollmannは、この技術が企業にもたらす利益を考えると、それは現実的ではないと警告しました。

「脅威のある者たちは待っていませんし、セキュリティチームも待てません。我々の研究は、生成AIが我々の働き方を再構築している一方で、リスクのルールも書き換えていることを示しています。セキュリティの基盤は並行して進化しなければならず、さもなければ今日の時代遅れの安全策の上に明日の革新を築くリスクがあります」と彼はコメントしました。

主要なGenAIセキュリティ脆弱性

セキュリティ実務者の約4分の3（72%）が、生成AIを最大のITリスクとして挙げました。

回答者が挙げた主要なAIリスクは、AIデータセキュリティと正確性に関連していました。最も一般的に挙げられたリスクは、機密情報の開示（46%）で、次いでデータモデルの汚染と盗難（42%）、不正確なデータ（40%）、トレーニングデータの漏洩（37%）が続きました。

高い懸念レベルにもかかわらず、セキュリティチームの33%は、大規模言語モデル（LLM）の導入に対する定期的なセキュリティ評価、ペネトレーションテストを含む、を実施していません。

2022年にLLMテストが開始されて以来、Cobaltによって行われた評価によると、生成AIツールで発見されたすべての脆弱性の約3分の1（32%）が深刻（高リスクまたはクリティカルリスク）に分類されています。

これは、研究者によると、すべての資産タイプの中で最も高い割合の深刻な脆弱性です。

これらの深刻な脆弱性のうち、実際に解決されているのはわずか21%で、実施されたすべてのペネトレーションテストの中で最も低い解決率です。

古典的なウェブアプリケーションの脆弱性であるSQLインジェクションが、これらの生成AI評価で発見された最も一般的な脆弱性で、19.4%でした。もう一つの伝統的なウェブ脆弱性である保存型クロスサイトスクリプティングも9.7%で高い順位を占めました。

Cobaltは、これらの発見が、LLMアプリケーションを導入する際に基礎的なウェブアプリケーションセキュリティのベストプラクティスが非常に重要であることを示していると述べました。これには、堅牢な入力検証、安全なコーディングプラクティス、基盤システムの適切な構成が含まれます。

ペンテストで発見されたLLM特有の脆弱性もレポートで強調されました。これには以下が含まれます：

• 不適切なコンテンツを引き起こすプロンプトインジェクション: ペンテスターは、入力プロンプトを巧妙に作成することで、LLMのコンテンツフィルターや指示を回避し、不適切な応答を引き出すことができることを発見しました
• 機密データの露出を引き起こすプロンプトインジェクション: プロンプトインジェクション技術は、LLMを騙してデータセットから個人を特定できる情報などの機密データを公開させることができました
• モデルのサービス拒否: APIを介してLLMエンドポイントに大量の複雑またはリソース集約的なクエリを送信することで、ペンテスターはモデルを圧倒し、極端な遅延や完全なサービスの利用不可を引き起こしました
• 過剰なエージェンシー: ペンテスターは、一連の微妙な対話やプロンプト操作を通じて、LLMにその意図された範囲を超えて行動を起こさせ、情報にアクセスさせることができました

「これらのケーススタディは、特に微妙なプロンプト操作や複雑なインタラクションチェーンを含む多くのLLM特有の脆弱性を発見するには、かなりの人間の専門知識と創造的で適応的なテストアプローチが必要であることを強調しています」とレポートは述べています。