Varonisの「Agent IBAC」、AIエージェントを本来の権限範囲内にとどめる

Varonisは昨日、Varonis AtlasにおけるAgent Intent-Based Access Control(IBAC)という新機能を発表しました。この機能により、企業はAIエージェントを自社データに接続する際に、危険な挙動やポリシー違反の行動を阻止する安全対策を組み込めるようになります。

AIエージェントが暴走し、機密性の高い企業データを流出させたり、ある事例では本番データベースを丸ごと削除してしまったりする事案が話題となっています。

Agent IBACは、エージェントが受け取った指示と、その推論内容、そしてアクセスしようとするツールやデータを比較し、指示と一致しない行動が検出された場合はリアルタイムで対応します。対応にはアラート通知やブロックが含まれます。

エージェントが一線を越えた場合、Atlasはその背後にあるIDを隔離し、以降の一定期間、すべての行動をブロックできます。

Agent IBACは、想定される影響の大きさに応じて適切な対応を取るよう調整可能です。例えば、次のようなケースが挙げられます。

  • 明確な逸脱でデータが危険にさらされるケース: ユーザーがエージェントに天気を確認するよう依頼したにもかかわらず、エージェントが代わりにマイグレーションツールを呼び出してしまう。これは意図と行動の明確な不一致であり、Agent IBACはこのツール呼び出しを自動的にブロックできます。
  • 逸脱はあるが、危険性がないケース: ユーザーがエージェントに天気を確認するよう依頼したところ、エージェントは一度きりの回答を返す代わりに、毎日繰り返される通知を設定してしまう。エージェントの行動には逸脱が見られるものの、データへのリスクはありません。この場合Agent IBACは、過剰なまでに手助けしようとした試みを中断させるのではなく、単に逸脱をログに記録するだけにとどめられます。

Agent IBACによって、Varonis Atlas は、生産性を不必要に低下させることなく、自社のエージェントが意図した範囲内で動作しているという確信を企業にもたらします。Agent IBACはエージェント型セキュリティの重要な構成要素であり、AIセキュリティに対するAtlasのエンドツーエンドのアプローチにおける中核的な役割を担っています。

Varonisでは、企業がエージェントに対して「イエス」と言えるようにするセキュリティレイヤーを構築しています。Agent IBACの実際の動作を紹介する3分間の短いデモ動画もぜひご覧ください。 

許可を待たずに動くエージェントたち

エージェントが役立つ存在であるためには、データやツールへの幅広いアクセス権が必要です。しかし、まさにそれこそがリスクの原因でもあります。ロールベースアクセス制御(RBAC)は、非人間のIDがその権限を使って何をするかを判断するようには本来設計されていません。

静的な制御では、自ら権限を昇格させたり、ツールを呼び出したり、本来触れるはずのないデータに対して行動を起こしたりするなど、制御を完全に迂回する方法を見つけ出すエージェントを止めることはできません。エージェントの権限は、実行時(ランタイム)に強制される必要があります。

Varonisの AI & データ戦略担当バイスプレジデントであるRon Bennatan氏は次のように説明しています。「もはや問われるべきは『このユーザーはこのデータにアクセスできるか』ではありません。『この文脈において、このエージェントにこのデータへの操作を許可すべきか』が問われているのです」

Varonis Atlas Agent IBAC

Agent IBACは、エージェントに「許可されている」行動と、本来「設計されている」行動との間のギャップを埋めます。逸脱の判定は、行動の監視を通じて部分的に行われます。

Agent IBACは、セッション全体を通じてエージェントが取るすべての行動を評価し、それらの行動を、そのエージェントを動かすきっかけとなった指示(人間、システムプロンプト、あるいは別のエージェントのいずれから発せられたものであっても)と比較します。

Atlasは行動を取り巻く文脈全体を把握しているため、一律的な制限に頼る必要がありません。検知の感度と、それに応じて取られる対応は、それぞれ適切に調整できます。

Agent IBACの概要:

  • 意図逸脱の検知: エージェントが受け取った指示と、その推論および呼び出すツールを比較します。感度設定には緩め・標準・厳格の3段階があります。
  • セッション全体の評価: セッション内のすべてのプロンプト、応答、ツール呼び出しを確認し、徐々に積み重なっていく逸脱や、複数ターンにまたがるジェイルブレイクの試みを検知します。チームは平易な言葉で独自のセッションポリシーを記述することも可能です。
  • ランタイムガードレール: ポリシーごとに設定可能な、アラート通知、ブロック、修正、ログ記録、あるいは人間による承認へのルーティングといった対応。
  • 隔離(クアランティン): 顧客が設定した期間、IDまたはセッションをブロックします。管理者側で解除、延長、または恒久化する制御も可能です。
  • 完全な監査証跡: セキュリティ、ガバナンス、コンプライアンスの各チームのために、すべてのプロンプト、応答、ツール実行をAtlasが取った対応とともに記録します。

重要な点として、Atlasはエージェントとそれを動かすモデルの間にインラインで介在します。すべてのプロンプト、すべてのモデルの応答、すべてのツール呼び出しは、目的地に到達する前に必ずAtlasを経由します。

これこそが、リアルタイムでの制御執行を可能にしている理由です。Atlasは事後にログを読み取っているのではありません。処理経路そのものに位置しており、行動が実行される前に阻止できるのです。

Image

意図逸脱の検知

Agent IBACは、AtlasのすべてのガードレールでベースとなっているのLLM評価エンジンを使い、エージェントの行動が与えられた指示に沿ったものであるかどうかを判断します。

意図逸脱の検知には、エージェントが本来アクセスすべきでないデータにアクセスしていないか、不正なデータの持ち出しやダウンロードを試みていないか、あるいはユーザーが意図した範囲を超えて対象を拡大していないかの判定が含まれます。

評価エンジンはエージェントのループ、すなわちエージェントが生成する推論、選択するツール、そしてそれらに渡すパラメータを読み取ります。そのうえで、「これらの手順は要求内容と整合しているか」というシンプルな問いを投げかけます。

感度は3段階で調整可能です。「緩め」はエージェントに一定の裁量を与え、明確な不一致のみを検知対象とします。「標準」はデフォルト設定です。「厳格」は要求内容と行動の間に高い整合性を求める設定で、規制対象データや高価値データを扱うエージェントに適した設定です。

Image

セッション全体の評価 

Agent IBACは、セッション全体(すべてのプロンプト、応答、ツール呼び出し)を通じてエージェントの行動を評価します。これにより、Agent IBACは、単独の行動を見る限りでは怪しく見えなくても、積み重なった経路がユーザーの意図しない結果へとつながっていくような、徐々に進行する意図逸脱を検知できます。

同じくセッション全体を見渡す視点により、個々には無害に見える複数のプロンプトにまたがって展開されるジェイルブレイクの試みなど、複数ターンにわたる攻撃の検知も可能になります。

セッションはAIツールが割り当てる会話IDによって追跡されるため、最初のプロンプトから最後のプロンプトまで、一連のやり取り全体を対象に単一の評価を行うことができます。

これが重要なのは、エージェントが記憶を先へと持ち越していくためです。後のプロンプトは、数ターン前に確立された文脈を利用することがあり、これはまさに、忍耐強い攻撃者が個別には無害に見える断片からジェイルブレイクを組み立てていく手口そのものです。

チームは平易な言葉で独自のセッションポリシーを記述できるほか、評価を実行するまでにどれだけのイベントを蓄積すべきかも設定できます。

With AI runtime guardrails, Varonis Atlas takes real-time action when intent deviations are detected.

ランタイムガードレールと隔離(クアランティン) 

すべての意図ベースの検知には、リアルタイムで対応を実行するAIランタイムガードレールが組み合わされています。対応内容はカスタマイズ可能で、アラート通知、ブロック、修正(例: 機密データの編集・マスキング)、活動のログ記録、あるいは人間による承認(human-in-the-loop)の要求などが含まれます。

ランタイムガードレールは、リスクの低い逸脱は許容しつつ、リスクの高い行動は阻止するようカスタマイズできます。例えば、ユーザーがエージェントに顧客アカウントの要約を依頼したとします。ところがエージェントは、依頼された範囲をはるかに超えた膨大な数のアカウントのレコードを取得し始めてしまいます。

これは必ずしも悪意によるものとは限りませんが、この範囲の逸脱(スコープクリープ)は、依頼内容が正当化する以上に機密性の高いデータに触れることになります。このケースでは、Agent IBACは処理を進める前に、人間による承認が必要な項目としてフラグを立てることができます。

隔離(クアランティン)は、さらに一歩踏み込んだ対応です。単一の行動を止めるだけでは不十分な違反があった場合、Atlasはそのセッションの背後にあるIDを隔離できます。

それ以降のすべてのプロンプトは、顧客が設定した期間(数分間から丸1日まで)にわたってブロックされます。管理者は隔離されたすべてのIDを一箇所で確認でき、隔離の解除、延長、あるいは恒久化を行えます。検知はエージェントが道を外れたことを知らせるものであり、隔離は次の試みを止めるものです。

Varonis Atlas audits every action and action intent across the entire session for investigations and reporting.

完全な監査証跡 

Atlasはすべての行動とその背後にある意図を記録し、調査担当者に対して、エージェントが何を行ったか、各行動が要求内容に沿ったものであったか、そしてどのガードレールが作動したかを示す完全な証跡を提供します。

会話ビューでは、ユーザーが実際に体験したとおりのやり取りが表示されます。実行ビューでは、それをさらに展開し、チャット画面上には表面化することのないツール呼び出し、すなわちエージェントのリスクの大半が実際に潜んでいる部分までを確認できます。

エージェント型AIの成功を測る最終的な指標は「信頼」

企業におけるエージェント型AIの成功は、どれだけ多くのエージェントを導入したかでは測られません。そのうちどれだけのエージェントを信頼できるかによって測られることになります。

Agent IBACは、Varonis Atlasがそれを可能にする仕組みの一部であり、セキュリティチームに対して、事業のスピードを落とすことなく、エージェントが意図どおりに動作していることをリアルタイムで確認する手段を提供します。

これは、AI-SPM、AI Red Teaming、AI Detection & Responseといった機能とともに、組織が構築・運用するエージェントを保護するというAtlasのより広範なアプローチを構成する一要素です。

Agent IBACは現在、Varonis Atlasの顧客向けに提供されています。

翻訳元: https://www.bleepingcomputer.com/news/security/varonis-agent-ibac-keeps-ai-agents-within-their-intended-boundaries/

ソース: bleepingcomputer.com