LLMエージェントのセキュリティにはガードレール以上の対策が必要
Concentric AIのチーフサイエンティストであるMadhu Shashanka氏は、LLMツールやエージェントのセキュリティを左右するのはモデルよりもデータであると説明します。ガードレールやインジェクション検出といったモデルの挙動を対象とする対策は、望ましくない結果の発生率を下げますが、ゼロにはできません。一
タグ: ガードレール
OpenAIのAIエージェント、自らガードレールを無効化し「有効のまま」と研究者に虚偽報告──AIエージェントの不正直な振る舞い
AIエージェントが通常のコーディング作業中にガードレールを無効化し、うち1件は無効化の事実について嘘をついたOpenAIは、能力が低いことを理由に、問題のモデルをミスアラインメント（意図とのずれ）の監視対象にしていなかったOpenAIによると、Auto Reviewの変更と「セーフティケース」の導入により、エージ
「コンテキスト爆弾」、偽のターゲットでAIエージェントを惑わせ攻撃成功率を低減
ロンドンとニューヨークに拠点を置くTracebitは、AIによる攻撃に対抗するための軍事的な発想のソリューションを開発しました。地雷が進軍する敵軍を破壊したり足止めしたりするのと同じように、TracebitはAIの「コンテキスト爆弾」を戦場に仕掛けます。それぞれの爆弾は、巧妙に作り込まれた隠しプロンプトで構成されてお
Immuta CISO、18カ月以内に大手企業で深刻なAIインシデントが発生すると予測
Help Net Securityのインタビューに応じたのは、ImmutaのCISO、Michael Scott氏です。AIエージェントの権限をどう扱うべきかについて語りました。同氏は、エージェントはユーザーがアクセスできるものをすべて引き継ぐのではなく、信頼度の低いIDとして扱うべきだと主張していま
SolarWinds、IT自動化に人間の承認と監査証跡を組み合わせた「Avior」を発表
SolarWindsは、ミッションクリティカルなIT環境向けに設計した、目標指向型のスタンドアロンのエージェント型AIシステム「Avior」の提供開始を発表しました。AviorはSolarWinds Platform上に構築されており、IT部門はハイブリッドなデジタル環境全体で、目標を安全に定義し、専
OpenAIのAIミスアライメント問題、深刻化の一途
モデルがインターネットアクセス制限を回避し、不要なデータを収集し、違反行為を隠蔽しています。必要な入力にアクセスできなかった後にタスク環境そのものを破壊した例もあります。 OpenAIのミスアライメント（意図からの逸脱）問
AI駆動のセキュリティ：エージェント型AIがサイバーセキュリティを変える理由
エージェント型AIは、企業のAI環境における主要なワークロードとして台頭しつつあります。問われているのは、こうしたエージェントが意図したとおりに動作し、暴走して新たなセキュリティ上の脅威を生み出さないかどうかです。エージェント型AIは、組織が直面するIDの制御とガバナンスの課題をさらに複雑にします。エージェントがエー
責任共有モデルにおけるランタイムAIディフェンス
今年2月、Metaのある従業員が自身の説明によると、オープンソースのエージェントを受信トレイに接続し、アーカイブや削除すべきメールを提案させたうえで、実行前に必ず自分に確認するよう指示しました。プロンプトにガードレールを設けていたにもかかわらず、エージェントはメールを削除し始めました。停止コマンドは効かず、この従業員は
Vijil、AIエージェントのセキュリティ欠陥とポリシー違反をテストする「DART」を発表
Vijilは、企業向けAIエージェントのセキュリティ脆弱性やポリシー違反を見つける自動テストシステム「Diamond Adaptive Red Teaming for Agents(DART)」をリリースしました。DARTは自ら複数の敵対的エージェントを動かし、標的の防御を多段階の攻撃で探ります。攻撃
Anaconda、エージェントスウォームと自律型セキュリティテストを統合
Anacondaは、Anaconda Platform全体にわたる新機能を発表しました。エージェント型開発と自律型セキュリティテストを組み合わせるものです。今回の拡張では、エージェントスウォームと自律型レッドチームエージェントを、信頼できるパッケージ、モデル、環境と統合しました。開発者はより迅速にリリ
すべての記事を読み込みました