- Ciscoは、AIが生成したインシデントレポートはLLMの制限により、不正確で一貫性がなく、データ損失の傾向があることを警告しています
- 同社は、信頼性を向上させるために、細粒度の単一タスクプロンプト、固定されたソースドキュメント、および厳密なフォーマットルールを推奨しています
- レポート間のクロスコンタミネーションは依然として課題であり、研究者はエラーを避けるために各新しいインシデントレポートに新しいセッションを使用することを推奨しています
セキュリティレポートにAIツールを活用しようとしている企業は、AI生成のインシデントレポートの使用経験を概説するCiscoからの新しいレポートを読むことをお勧めします。
同社は、長文の技術コンテンツを作成するためにAIを使用する人は、大規模言語モデル(LLM)の確率駆動型性質のため、「重大な不正確さ、異常な結論、および一貫性のない文体」を期待する必要があると警告しています。
「これらのモデルは、モデルの重みとトレーニングデータに基づいて、シーケンス内の次のトークン(通常は単語またはサブワード)を予測することによって出力を生成します」とCiscoは述べています。または、The Registerが述べるように、「本質的には、教育的な推測を行う高度なオートコンプリートシステムです。」
機能すること、機能しないこと
AIは基本的には次の単語を予測しているだけなので、Ciscoによると、4つの主要な問題が生じます：
- LLMは新しいクエリごとに異なるデータを使用するため、一貫性と標準化が課題になります
- 同じデータを共有している場合でも、結果は常にわずかに異なります
- 新しいドキュメントごとに異なる構造とフォーマットが存在し、これはさらに別の標準化課題です
- AIは価値あるデータを捨てることが多く、結果を変えます
- これはAIが長文の技術レポートに使用できないという意味ではありません。むしろ逆です。企業は依然として多くのデータを保存できますが、ツールを適切に設定および最適化する必要があります。
Ciscoは、良いアプローチはAIに「レポートの特定の小さな部分に焦点を当てた細粒度の単一タスク命令」を与えることだと述べています。
同社はまた、AIはレポートのソースを自由に選択することができず、代わりに特定のドキュメントを与えるべきだと述べました。最後に、AIはフォーマットとスタイルに関する明確な指示を持つべきです。
「品質保証プロセスでサンプルレポートのブラインドテストを実施した結果、全体的な執筆品質に顕著な低下は見られませんでした」とCiscoは述べています。
「ピアレビュー担当者、プロの編集者、経営管理レビュー担当者は、レポートがAIで生成されたことに気づかないまま、すべてレポートについて肯定的なコメントを述べました。ピアレビュー担当者は、タイプミスと文法エラーの発生率が平均的なレポートよりもはるかに低いことを指摘しました。」
Ciscoは、別の課題を発見しました。AIが1つのセッションで複数のサンプルレポートを編集するよう求められるとき、「最初のレポートの生成に使用されたメモがプロジェクトの参照ドキュメントから削除されていても、」あるレポートのソースマテリアルのコンテンツが別のレポートとクロスコンタミネーション(相互汚染)されます。
この問題を回避するために、研究者は、新しいセッションを開始し、新しいインシデントレポートごとにプロンプトを再入力することを勧めました。
