タグ: AIモデル安全性

GPT-Redがプロンプトインジェクションのテストで人間のレッドチームを上回る成果

GPT-Redは、OpenAIがプロンプトインジェクションの脆弱性を発見するために訓練している自動レッドチーミングモデルです。人間のレッドチーマーと同じように動作し、プロンプトを送信してGPTモデルの応答を観察し、データ流出の成功といった目標に向けて試行を繰り返します。 トレーニングは自己対戦型の強