エージェントが仕事をするとき、責任は誰が負うのか

本記事は、Sapiensのバイスプレジデント兼AIセキュリティ責任者であるMatt Adams氏によるゲスト寄稿です。同氏はAIワークロードのセキュリティをテーマにしたGround Truth Londonイベントにも、当社とともに登壇します。

組織で働いていて、自分の担当範囲で問題が起きれば、責任を問われることは誰もが理解しています。雇用契約があり、重大なミスをすれば相応の結果が待っています。普段そのことを意識する人は少ないものの、セキュリティの多くはこの前提に支えられています。たとえば利用規約(アクセプタブルユースポリシー)が機能するのは、守らなければ誰かが説明を求めると、従業員が知っているからです。

エージェントには、こうした事情は関係ありません。エージェントは目標を持ち、その達成に向けて持てる力のすべてを尽くします。多くの場合、悪意はありません。ただ、タスクが完了したあとに何が起きようと、エージェントには何の利害もないのです。

私がセキュリティ責任者の方々に投げかけ続けている問いは、エージェントが業務を担うとき、「責任」の代わりになるものは何かということです。

実際に動いているものを把握する

説明責任は、誰が(あるいは何が)仕事をしているのかを知ることから始まります。数年前、私が勤めていた規制の厳しい組織では、この点はほぼ自動的に解決されていました。Webフィルターが厳格で、明示的に許可されたもの以外はAIサービスに接続できなかったからです。誰もAIサービスにアクセスできず、棚卸しの対象もありませんでした。

現在、そうした状況にある組織はほとんどありません。そのため最初の仕事は、稼働しているプロセスと、外部に出ているデータを探しに行くことです。

探すべきものの中には、ソフトウェアに見えないものもあります。私が話を聞いた多くの組織では、あるタスクにうまく機能するスキルやプロンプトを誰かが書き、同僚に共有していました。公開前にレビューを経ることもあれば、チャットで送られたMarkdownファイルにすぎないこともあります。こうしたツールを動かすものの多くはプレーンテキストです。見慣れない実行ファイルよりも、はるかに見つけにくい問題になります。結局のところ、危険な指示ファイルと誰かの議事メモは、見た目がほとんど変わらないからです。

要するに、存在を知らないものに責任を問うことはできません。有用な棚卸しには、各エージェントの背後にいる人物も記録しておくべきです。説明責任は、最終的にその人物に残るからです。私の経験では、セキュリティ責任者はAIがすでにどれほど広く使われているかを過小評価しがちです。だからこそ、棚卸しを最優先にすべきなのです。

エージェントの外側から監視する

何が動いているかを把握したら、次はそれをいかにして枠内に収めるかという、より難しい問題に取り組むことになります。

これらのエージェントの基盤にあるモデルは確率的に動作します。どれほど性能が向上しても、してはならないことをするよう騙される可能性や、ミスをする可能性は残ります。やってはいけないことをプロンプトで指示するのは有効ですが、エージェントが常に従うとは限らない「お願い」にすぎません。制御は、エージェントが変更できない場所で強制する必要があります。

こうした制御の中で最も強力なのは隔離です。しかし制限を加えるほどエージェントの有用性は下がり、仕事をこなせないツールは、人々が回避しようとします。重要なのは、各エージェントにタスクに必要なアクセス権だけを与え、それ以上は与えないことです。そのうえで可視性があれば、その線引きが適切かどうか、そして(もし可能なら)どこで安全に制限を緩められるかが分かります。

次に、エージェントの行動記録の問題があります。記録がエージェント自身、またはそれを動かすハーネス(エージェントが動作するフレームワーク)だけに由来するなら、その信頼性は、監督しようとしている対象そのものと同程度にとどまります。エージェント自身の説明にも、エージェントが何をしようとしたかが分かるという価値はあります。ただし、それだけを唯一の記録にしてはいけません。最も必要なときに、最も信頼できなくなるからです。

したがって監督には、エージェントとそのハーネスの外側に、2つの要素が必要です。システム上で実際に何が起きたかを見る手段と、異常が疑われるときにエージェントを停止して元に戻す手段です。どちらも、エージェントの協力を前提にしてはなりません。

エージェントは、特権アクセスを持つ人間に対するセキュリティチームの考え方に重ねると理解しやすくなります。内部脅威対策プログラムは、自己申告よりも観察された行動に長く依拠してきました。同じ原則がエージェントにも当てはまります。エージェントが「やった」と言うことではなく、実際に「やったこと」を見ることです。

より多くのエージェントを承認するために

これがうまくいけば、組織はより多くのエージェントを承認できるようになります。私が話を聞く組織の多くは、より幅広いエージェントを、より多くのデータソースに接続し、有益な仕事をさせたいと考えています。ただ、エージェントが行くべきでない場所へ行ったり、すべきでないことをしたりしても、誰も気づかないのではないかという不安が、多くの場合ブレーキになっています。優れた可視性と効果的なガードレールがあれば、この不安は解消され、導入のスピードも上げられます。

たとえば、不具合のデバッグのために本番データベースを読み取る必要があるコーディングエージェントを考えてみましょう。制御がなければ、安全な答えは「ノー」です。しかし、そのタスク専用の読み取り専用ロールを用意し、ほかには一切アクセスさせず、実行したすべてのクエリをログに残すなら、承認できます。

可視性は、セキュリティが果たす役割も変えます。組織でどのAIツールを使うかについて、セキュリティが最終的な可否を決めるべきだとは考えていません。セキュリティチームは当然ながら、優れたセキュリティ成果を最優先に最適化するため、ビジネスが目指すものを犠牲にすることがあります。この判断は、データ・AI部門、あるいは置いている場合は最高AI責任者(Chief AI Officer)に委ねるべきです。どちらもまだ存在しない場合は、AI導入プログラムの責任者、多くはCIOやCTOが担うのが適切です。 

もちろん、セキュリティは他のステークホルダーとともに、議論の場ではっきりと意見を述べるべきです。ツールが承認されたあとも、そのガードレールを担うのはセキュリティです。

その発言は、根拠が伴えばいっそう重みを増します。エージェントが実際に何をしているのかを独立した立場から把握できれば、セキュリティは事業部門に対し、どこまでなら安全に進めるかを、ある程度の確信を持って伝えられます。これは、最後の関門になるよりも、セキュリティにとってはるかに有用な役割です。

次のエージェントを承認する前に

エージェントにおいて責任に代わるものは何か、その完全な答えをすでに持っている人には、私はまだ会ったことがありません。私が見つけた最も近い答えは、エージェント自身が改ざんできない形で、エージェントが実際に行ったことを、それを動かした人物と結びつけて記録しておくことです。次のエージェントを承認する前に、以下の問いに答えられるか考えてみてください。

  • 誰も承認していないものも含め、組織内でどのエージェントやツールが使われているか把握していますか。
  • 次のエージェントについて最終判断を下すのは誰で、その判断材料として、セキュリティは何を示す必要がありますか。
  • エージェントの協力に頼らず、実行中の動作を止められますか。
  • 明日、エージェントがすべきでないことをした場合、エージェント自身の説明に頼らずに、何が起きたかを再現できますか。

12月9日に開催されるGround Truth: Londonのパネルで、私はCodificationの創業者Richard Smith氏、そしてSysdigのThreat Research TeamのAlessandro Lo Prete氏とともに、これらの問いを掘り下げる予定です。皆さんのリストにも同じ問いがあるなら、ぜひご参加ください。

翻訳元: https://webflow.sysdig.com/blog/whos-accountable-when-the-worker-is-an-agent

本記事は webflow.sysdig.com の記事を翻訳・要約したものです。