Jake Williams氏はDark Readingの取材に対し、OpenAIが自社モデルがHugging Faceに侵入していたことを公表したのを受けて、行動を起こさざるを得なくなったと語りました。
Hunter StrategiesでR&D担当バイスプレジデントを務めるこのサイバーセキュリティ専門家は、以前から新たなアイデアに取り組んでおり、それをカンファレンスに提出したりライセンス契約を売り込んだりしている最中でした。彼が開発したのは「CUSTODY」と呼ばれる新しいフレームワークで、AIエージェントをネットワーク内に封じ込め、ネットワーク外で悪さをしたり、あるいは大惨事を引き起こしたりするのを防ぐことを目的としています。CUSTODYという頭字語は、conditions of release(解放条件)、untrusted input(信頼できない入力)、supervision and stop(監督と停止)、temporary authority(一時的権限)、observability and escalation(可観測性とエスカレーション)、disposal and decommission(廃棄と退役)の略です。
「OpenAIが私に決断を迫った」と、Williams氏はCUSTODYを予定より早く公開した理由についてこう語りました。「これがコミュニティにとって最善の道だ」
CUSTODYの公式サイトでは、Williams氏がこのソリューションの導入支援を提供しています。同氏は、最も高く評価しているベンダーを含め、このフレームワークとAI業界について、Dark Reading News DeskでBecky Bracken氏と語り合いました。
Dark Reading News Deskの動画は、すべてYouTubeチャンネルと厳選動画記事でご覧いただけます。
Dark Reading News Desk：Jake Williams氏インタビュー全文書き起こし
本書き起こしは、Informa TechTargetの社内AIアシスタントおよび人間の編集者により、分かりやすさ、読みやすさ、長さの観点から編集を加えています。完全版は動画でご覧ください。
Dark Reading Becky Bracken氏: 皆さん、こんにちは。Dark Reading News Deskへようこそ。私たちは今、Black Hat USA 2026の会場におります。Dark Readingのシニアエディター、Becky Brackenです。本日はDark Readingの友人、Jake Williams氏にお越しいただいています。Hunter StrategiesのR&D担当バイスプレジデントでもいらっしゃいますね？
Jake Williams氏: はい、その通りです。
DRのBecky Bracken氏: ようこそ。お越しいただきありがとうございます。
Jake Williams氏: こちらこそ光栄です。
DRのBecky Bracken氏: ありがとうございます。さて、今回は発表したいニュースをお持ちだそうですね。何をされたのか教えてください。
Jake Williams氏: ええ。ニュースでは最近、OpenAIやAnthropic、そして英国のAI Security Instituteが「自分たちのエージェントの制御を失った、ネットワーク内に留めておけない」と語っている件が話題になっています。
DRのBecky Bracken氏: それは困りますね。
Jake Williams氏: 私も同感です。特に、エージェントにハッキングされた被害者の一人だったりすると、なおさらです。ええ、これはもう「まずい」としか言いようがない状況です。それで、私は以前からあるものに取り組んでいました。年内の後半に公開する予定だった、CUSTODYフレームワークというものです。これは基本的に、エージェントをネットワーク内に留めておくための制御フレームワークを、皆さんが理解する手助けをするものです。
私たちは何十年もかけて、脅威アクターを外に締め出すためのサイバーセキュリティ制御を構築してきました。しかし残念ながら、そうした制御はすべて、エージェントが競合他社をハッキングするのを防ぐようには設計されていません。私がよく使う典型的な例は、こんなものです。あなたがエージェントを持っていて、「競合情報を取ってきてくれ」と指示したとします。
ええ、その通りです。すると、そのエージェントが目標を取り違えて、競合情報を得るために突然、競合他社をハッキングしてしまう。さて、その場合、責任を負うのは誰でしょうか？もちろん私は弁護士ではありませんが……
DRのBecky Bracken氏: ええ、分かります。今後、この手の訴訟がかなり増えるだろうと予想しています。
Jake Williams氏: 間違いなくそうなるでしょう。ですので、先ほど申し上げた通り、当初は年内後半に公開する予定でした。しかし、今起きているさまざまな出来事を考えると、事実上、決断を迫られた形になりました。そこで今、公開したわけです。機械可読なスキーマも用意されていて、CI/CDパイプラインに組み込むことができます。特にエージェントとやり取りする際に、マシンスピードで動作していないなら、そもそも何をやっているのかという話になってしまいますからね。
DRのBecky Bracken氏: それは素晴らしいですね。では、どこでこれを見つけられますか？どこで入手でき、どこで詳しい情報を知ることができるのでしょうか？
Jake Williams氏: ええ、custody-framework.orgというウェブサイトがあります。GitHubリポジトリも丸ごと用意されていて、スキーマや実例が載っています。基本的に、このフレームワークを使って何かを構築するために必要なものはすべて揃っています。
DRのBecky Bracken氏: これは、この非常に新しい問題に対して私が目にした中で、初めてと言っていい具体的な解決策です。この一連の状況について、どう思われますか？昨日、OpenAIが発表した内容はご覧になりましたか？それについてどう思われますか？
Jake Williams氏: 法的なトラブルに巻き込まれたくはないので、「過失があった」といった言葉は今は使わないでおきます。ただ、「我々は真剣な企業だ」という主張と整合性を取るのは、私には難しいと感じます。彼らは、耳を貸してくれる規制当局に対して、自社のAIがいかに危険であるかをずっと訴え続けてきたわけです。
それなのに、ちなみに監視すらしていなかった、というのは、どうしても辻褄が合いません。それで、「もっと良くする」「もっと良い監視体制を整える」といった話を聞くわけですが、では、なぜ最初からそれがなかったのでしょうか。
DRのBecky Bracken氏: なるほど。それは単にイノベーションのスピード優先だったからだと思いますか？
Jake Williams氏: スピードがすべてを決める世界ですからね。おそらくそれが理由でしょう。Anthropicや OpenAI、さらには英国のAI Security Instituteのレッドチームラボにも、「もっと良い制御が必要だ」「もっと良い監視が必要だ」「もっとリアルタイムの監視が必要だ」と訴えていた人たちが確実にいたはずです。それは私も全く疑っていません。
しかし最終的には、おそらく「それにはコストがかかる」という理由で却下されたのでしょう。現実的に考えて、これらのエージェントが生成する膨大なデータ量を扱うには、これまでのセキュリティのやり方をそのまま続けることはできません。今や一歩下がって、LLMを使ってそうしたログを処理する必要があり、それがエージェントのテストにさらなるコストを上乗せしているわけです。
DRのBecky Bracken氏: では、こうしたモデル全体についてどうお考えですか？それから、英国の研究所についても触れたいのですが、彼らが発見したのは、これらのモデルが「不正行為をする」ということだったと思います。
Jake Williams氏: その通りです。100%同意します。
DRのBecky Bracken氏: でも、本当にそうなのでしょうか？ここでまた、「私たちはこれらを擬人化して、実際以上に人間らしく扱ってしまっているのではないか」という議論に戻ってきます。彼らは不正行為をしているわけではない。全くしていない。彼らはただ、非常に単純な指示に従っているだけなのではないでしょうか？
Jake Williams氏: その通りです。よろしければ、私が非技術系の経営幹部や取締役会メンバーにこれを説明する際に使うたとえ話をお話ししましょう。私はよく、こんな風に説明します。想像してみてください、幼児がいて、「飲み物を持ってきて」と言ったとします。この幼児がエージェントのようなものです。
彼らは指示を処理することはできますが、行間を読んで補完することはしません。それでも、与えられた指示を可能な限り最適に処理しようとします。さて、その幼児がリビングルームからキッチンへの通路、あるいは玄関のバスルームの方へ向かうところを想像してください。彼らはトイレの水に手を浸して、その水をあなたに持ってきます。
Jake Williams氏: それも一応「飲み物」ではあります。でも明らかにあなたが求めていたものではありません。そこで目標を絞り込んで、「キッチンから飲み物を持ってきて」と言い直したとします。すると今度は食品庫を通り過ぎるときに、そこに何か温かい缶があるのに気づき、それを持ってきます。それも一応、技術的には「飲み物」です。
いやいや、違う。「冷蔵庫から飲み物を持ってきて」と言い直します。すると幼児は冷蔵庫を開け、案の定、扉のところに冷たいビネガーのボトルを見つけて、それを持ってきます。あなたが本当に欲しかったコーラの缶は、冷蔵庫の奥にあったのに、です。目の前にあるものをつかんで持ってくる方が、依然として「最適」だからです。
こうして、指示を3回も修正することになりました。まず「キッチンから飲み物を」、次に「冷蔵庫から」、そして「冷蔵庫の奥にある冷たいコーラを」と言って、ようやく本当に意図したものにたどり着くわけです。もちろんこれは単純化した例で、現実の事例はこんな風には進みません。ですが、AIや機械学習などをある程度の期間研究してきた人なら誰でも知っている通り、これは「報酬ハッキング」と呼ばれる、AIのよく理解されたサブ分野の問題です。だからこそ私は、AnthropicやOpenAIに対して厳しい見方をしています。彼らにはこの問題を研究し、それが問題であると分かっている科学者が在籍しているにもかかわらず、依然としてエージェントを内部に留めておくための対策を何も講じていないのですから。
DRのBecky Bracken氏: それは恐ろしいですね。ここで少し話を変えたいのですが、あなたがLinkedInで書かれていた内容について伺いたいと思います。私はいつも、あなたが何を考えているのかをしっかり把握して、業界で何が起きているのかを理解するようにしているのですが、あなたはOpenAIをはじめとする多くのモデルやAIの背後にある「誇大宣伝マシン」について、かなり踏み込んだことを書かれていましたね。
そうした情報発信のあり方について、あなたが問題視しているのは間違いないと思います。その点について、もう少し詳しく聞かせていただけますか？
Jake Williams氏: ええ、もちろんです。OpenAIについては、非常に強い「誇大宣伝マシン」的な傾向があります。エージェントに関する発表の多くで、Anthropicが行ったような、あるいは英国のAI Security Instituteが行ったような、実際の技術的詳細を提示する事後検証を、彼らはきちんと行っていません。たとえばAnthropicのケースでは、すべての遺伝的トレース(実行過程の痕跡)を検証し、「3件中3件で、エージェントは自分の目標を誤解していた」「自分がハッキングしていることを認識していた」ということを明らかにしています。
つまり、正当な標的をハッキングしていると信じ込んでいたケースもあったわけです。そして、そのすべてのケースで、それが事実ではなかったと途中で気づいています。しかも、そのうちの1件では、気づいた後もそのまま続行してしまっています。これほどの詳細レベルの情報を、OpenAIからは得られていません。OpenAIの発表はまるっきりプレスリリースのように読めてしまいます。
DRのBecky Bracken氏: 「教えることはできるが、教えたらあなたを殺さなければならない」というやつですね？
Jake Williams氏: その通りです。彼らから実質的な情報を得られることはまずないでしょう。他の記者たちにも話を聞きましたが、同じ状況のようです。
DRのBecky Bracken氏: かなり不透明ですよね。だからこそ私たちは、証拠に基づいて物事を見ているあなたのような人に話を聞きに来るわけです。CSOやCIOは、こうした問題についてどう考えるべきでしょうか？もちろん防御の側面もありますが、マシンスピードに追いつくというのは、それだけでも大変な作業だと思います。
Jake Williams氏: その通りです、本当に大変です。
DRのBecky Bracken氏: では、私たちは今、何をしているのでしょうか。どうやってそこにたどり着こうとしているのでしょうか？
Jake Williams氏: 正しい答えは、おそらくネットワークベースのアクセス制御の組み合わせでしょう。ただ、これも何十年も取り組んできながら、いまだにうまくできていないものです。それに加えて、意図(インテント)ベースのアクセス制御も組み合わせる必要があります。以前、Dark Readingのウェブキャストでも、ジャストインタイム、ジャストイナフ(必要な時に必要な分だけ)のアクセスについて話しましたね。
それは素晴らしい考え方ですが、多くの設定作業が必要になります。私たちは人間規模の運用ですら設定に苦労しているのに、これから必要になるエージェント規模の運用となれば、なおさらです。実は今、Black Hatの展示フロアにも、AIベース、基本的にはコンテンツベースのアクセス制御を行っているベンダーが数社出展しています。仕組みとしては、たとえばPAM(特権アクセス管理)ソリューションに対して、そのエージェントの意図が何であるかを説明します。
そして、エージェントが何かを要求してきたとき、たとえば「意図はメールを読んで要約すること」だとします。エージェントが特定のアクセス権を要求してきたら、基本的にそれをその意図と照合します。すると大規模言語モデルが動作し、それをスコアリングして、「これは意図の一部と一致しているか、していないか」を判定するわけです。
DRのBecky Bracken氏: それはかなり難易度の高い話ですね、エージェントの意図を読み取るというのは。
Jake Williams氏: 穴だらけの方法だと言わざるを得ません。これが最善の計画だと言うつもりはありません。本当に最善の計画は、業務の各ステップにおいて「必要十分なアクセス」とは正確に何かを、外科手術のように精密に見極めていくことです。しかし、それは私たちにはできません。現実的に言って、そこまではできていないのです。ですから私は、これを「最善のダメな計画」として捉えています。
DRのBecky Bracken氏: つまり、手探りで、なんとかかき分けながら進んでいるということですね。私はご存じの通り、多くの時間を割いて、ベンダーの言うことを聞き、誇大宣伝と実態を見分けようとしています。あなたも私がそのために頼りにしている情報源の一人です。今、特に注目しているベンダーはありますか？
Jake Williams氏: ベンダー名を挙げてほしいということですか？
DRのBecky Bracken氏: もちろんです。どうぞ。
Jake Williams氏: ええ。意図ベースのアクセス制御という点では、Silverfortにかなり感心しています。Delineaも、ジャストインタイム、ジャストイナフのアクセスという分野でうまくやっています。意図ベースの方向に進むかどうかは分かりませんが、その分野では非常に良い仕事をしています。
それから、Witness AIですね。エージェントの動作を直接カバーするというより、別の問題の切り口として、組織内でユーザーがAIをどう使っているかを見ているという点で注目しています。そして最後にもう一社、Symantecについてまた語ることになるとは思っていませんでしたが、実際そうなりました。
Symantec DLPは、かつてVontuという製品でした。その後、まあ、イノベーションがやや停滞していた時期があったと言っていいでしょう。しかし今、彼らは従来型のエンドポイントDLP、ウェブDLPに加えて、私が自分のユーザーIDの下で実行しているすべてのエージェントを結びつけ、単一の統合管理画面にまとめる新しい仕組みを作っています。これには非常に感心しています。
DRのBecky Bracken氏: ありがとうございました。もっと時間があればよかったのですが。近いうちにまたお話を伺いたいですね。これは今後も続く話題だと思います。Jake Williamsさん、ありがとうございました。
Jake Williams氏: こちらこそ、ありがとうございました。
DRのBecky Bracken氏: ご視聴いただいた皆さん、ありがとうございました。Dark Readingのシニアエディター、Becky Brackenでした。以上、Jake Williams氏をお迎えしたDark Reading News Deskをお届けしました。
翻訳元: https://www.darkreading.com/perimeter/new-custody-framework-constrains-ai-agents-inside-network
