セキュリティ
確実な出力を得るには、詳細なプロンプトが多く必要です。それでもエラーや誤字がある可能性があります
シスコはテーブルトップ型のセキュリティインシデント対応演習の正確なレポートを作成するAIの能力をテストし、この技術は時間を節約できる一方で、多くのリスクが残されていることを発見しました。
ネットワーク大手はシスコ タロス インシデント対応チームのシニアインシデントコマンダーであるネイト・ポース氏による木曜日のブログポストhttps://blogs.cisco.com/security/ai-generated-reporting-lessons-learned-from-talos-incident-responseでその結果を明かしました。
ポース氏は、長編の技術コンテンツを生成する際、大規模言語モデルは「重大な不正確さ、異常な結論、および一貫性のない執筆スタイル」をもたらす可能性があると指摘することで開始しました。
LLMはそれらの間違いを犯します。なぜなら、本質的には洗練されたオートコンプリートシステムであり、根拠のある推測を行うからです。ポース氏は、LLMの性質により、4つの方法で失敗することになると書きました：
- クエリごとに異なるデータを使用します。これは「繰り返し可能な標準化された研究成果のためにLLMに依存することが難しい」ことを意味します。
- 同じデータから異なる結論に到達します。「データ流出シナリオでは、モデルは1つのインスタンスでは組織全体のパスワードリセットを提案し、別のインスタンスではターゲットを絞ったリセットを提案する可能性があります」とポース氏は書きました。AIはその後「生成された最初の推奨に従うことが多く」－したがって悪いアドバイスを与える可能性があります。
- LLMはトークンごとにコンテンツを生成するため、実行するたびに異なる構造と書式を持つドキュメントを作成できます。「この予測不可能性は、一貫したエグゼクティブサマリーや推奨事項セクションなどの標準化されたレイアウトが品質管理に必須である専門的環境には問題があります」とタロスの男は指摘しました。
- AIはデータを破棄する可能性があるため、その出力は重要な情報を無視する可能性があります。
タロスはこのようなことが起こるのを防ぐための複数の技術を開発しました。
1つは、「レポートの特定の小さな部分」に焦点を当てた「詳細で単一タスクの指示」をLLMに与えることです。そうすることで「セクション間の幻覚またはクロスコンタミネーションのリスクが大幅に軽減される」ことを意味します。LLMにどのソースを使用するかを指示することも役に立ちます。出力のスタイルと形式に関するルールを設定することも同様です。
これらの技術を使用して、シスコはテーブルトップ演習に基づくインシデントレポートの起草に必要な時間が50パーセント削減されたと述べています。
「品質保証プロセスでのサンプルレポートのブラインドテストは、全体的な執筆品質に顕著な低下がないことを示しました」とポース氏は書きました。「ピアレビュアー、プロの編集者、および管理レビュアーは皆、それがAI生成されたことを知らずに、レポートについて称賛的なコメントをしました。ピアレビュアーは、誤字と文法エラーの発生率が平均的なレポートよりもはるかに低かったとコメントしました。
しかし、タロスチームはまた「単一セッション内で複数のサンプルレポートを編集すると、最初のレポートの生成に使用されたノートがプロジェクトの参照ドキュメントから削除されたとしても、あるレポートのソース資料から別のレポートへのコンテンツのクロスコンタミネーションが発生した」ことを発見しました。
したがって、研究者は各新しいインシデントレポートについて、新しいセッションを開始し、プロンプトを再度入力することを推奨しています。
彼らはまた「多くの文法エラーを幻想した…実際のエラーを特定できず」、成功率が50パーセント未満であり「一貫性なく動作し、時々エラーを捉えて時々それを見落とした」スペルと文法チェックプロンプトを開発しました。
「現在、本番環境での使用には適さない」とポース氏は結論付けました。
ポース氏はシスコが「標準化された入力と予測可能な出力を備えたあらゆるサイバーセキュリティレポート作成ユースケースに適応させることができる」とその方法が結論付けたと述べましたが、著者は「最終レポートのすべての言葉の所有権を持つ」必要があると警告しました。
「テスト中に、LLMが重複した、無関連の、または実行不可能な推奨事項を生成したことがわかりました。本番環境で手動チェックなしでこれを使用した場合、最終レポートの品質の低い推奨事項につながる可能性があります。」
これらの問題は、テーブルトップ演習を検討する際に発生しました。これは複数のシステムからのログファイルの分析を含むインシデント分析よりもはるかに単純な問題です。®
