ASAPPがエンタープライズAIシステム向けの敵対的テストを拡大
ASAPPは「継続的レッドチーミング」という新機能をローンチしました。これは敵対的AIテストをASAPPのモデル評価フレームワークに直接統合します。この新機能はPromptfooの上に構築されており、Promptfooは企業がAIシステムの開発段階で脆弱性を検出し対処するのに役立つAIセキュリティプラ
タグ: 敵対的テスト
AI赤チームエージェントがLLMテスト方法を変える
LLMの敵対的プロービングは過去3年間で広範なツールキットを蓄積してきました。Tree of Attacks with Pruning、Crescendo、Skeleton Keyなどの名前を持つ攻撃技術は、MicrosoftのPyRIT、NVIDIAのGarak、Promptfooを含むオープンソースフレームワーク
シナリオ：自動化されたAIアプリレッドチーミング用のオープンソースフレームワーク
本番環境で顧客サービスボット、データ分析エージェント、その他のAI駆動型アプリケーションを実行している企業は、毎日機密記録を処理し、コアビジネスシステムに接続しています。LangWatchは、敵が実際に運用する方法を反映するマルチターン攻撃技術を使用して、AIエージェントに対して自動化されたレッドチー
攻撃にさらされるエージェント：OpenAI、「見えない」辞職攻撃に対抗してChatGPT Atlasを強化
OpenAIは、ウェブを閲覧し、その中でほぼ人間のように—クリック、入力、そして...