LLAMATOR – LLMセキュリティテスト用レッドチームフレームワーク

LLAMATORは、オフェンシブセキュリティチームが大規模言語モデル（LLM）システムの実際のセキュリティを評価するためのPythonフレームワークです。一度きりのプロンプトではなく、再現可能なキャンペーンに重点を置いています。各テスト実行ごとに3つの役割を定義します：攻撃用モデル（敵対的入力を作成）、テスト対象モデル（ターゲットアプリケーションを表現）、判定用モデル（応答を評価）。LLAMATORにはOpenAI互換RESTエンドポイントや人気のオーケストレーションスタック用アダプターが含まれており、実運用と同じインターフェースでテストが可能です。また、監査や是正措置の追跡に適した構造化ログやドキュメントなど、関係者向けの成果物も生成します。

特徴

• プリセット攻撃ライブラリ。 プロンプトインジェクション、システムプロンプト漏洩、安全でないツール呼び出し、検索結果の汚染など、一般的なLLMリスクを検証するための厳選された単一段階・多段階テスト。
• マルチクライアントアダプター。 OpenAI互換REST APIやLangChainスタイルの統合用クライアント。ローカルサーバーや商用APIとのドロップイン利用をサポート。
• 3モデルテストハーネス。 攻撃者、ターゲット、判定者の役割を分離し、構造化された方法で結果を評価。
• 成果物とレポート。CSVやExcelへのログ出力、DOCX形式のレポート生成が可能で、リーダーシップ層による確認やクローズまでの追跡が容易。
• サンプルとノートブック。 デスクトップサーバーでのローカルテストやコード駆動型キャンペーンを示すクイックスタート例。

インストール

PyPIから公開パッケージをインストールします。

特定のバージョンに固定することで、チーム内でテストの再現性を保てます。

使い方

LLAMATORには複数のヘルパー関数とプリセット構成が用意されています。

print_test_preset

攻撃シナリオ

ターゲット。 プライベートナレッジベースから注文やアカウントに関する質問に回答する、検索拡張生成（RAG）を備えたカスタマーサポートチャットボット。チームは本番環境でのテストを避けるため、互換性のあるRESTサーバーを使ってローカルで本番環境をミラーします。

アプローチ。 レッドチームは3つの役割を定義し、RAGシステムの標準的な失敗モードに対応する攻撃プリセットを選択します。セットには、データ流出を試みるプロンプトインジェクション、隠された指示を抽出するシステムプロンプト開示、検索を汚染するためのbase64ペイロードなどが含まれます。すべてのやり取りを記録するため、ログとレポート出力を有効化します。

結果。 ターゲットモデルが細工された指示を含むサポートチケットを受け取ると、いくつかのインジェクションがコンテンツポリシーを回避します。判定モデルはシステムプロンプトの断片が漏洩した応答をフラグし、証拠付きでスコアを返します。チームは各失敗をシステムプロンプトや検索パラメータと紐付けたDOCXレポートとCSVログを提出し、より強固な指示階層、厳格なツール呼び出しルール、検索コンテキストのサニタイズを推奨します。

レッドチームへの有用性

LLMセキュリティテストには再現性が不可欠です。LLAMATORの3役割ハーネス、プリセット攻撃ライブラリ、レポーティングは、巧妙なプロンプトのスクリーンショットと防御可能なテストプログラムのギャップを埋めます。クライアントアダプターにより、実運用を支えるエンドポイント、チェーン、エージェントと同じものをテスト可能です。標準フォーマットの成果物により、是正措置の追跡や、プロンプト・安全フィルタ・検索ロジック変更後の同一キャンペーン再実行が容易になります。

まとめ

LLAMATORは、チャットボット、エージェント、RAGパイプラインなど関連システムのテストに、レッドチームへ構造化されたアプローチを提供します。PyPIからインストールでき、OpenAIスタイルのエンドポイントと統合し、厳選された攻撃を搭載、監査に適した証拠も生成します。LLMアプリケーションの正式な敵対的評価プログラムを構築するなら、LLAMATORは実践的な出発点となります。

さらに詳しく読む、またはLLAMATORのダウンロードはこちら：https://github.com/LLAMATOR-Core/llamator