米コロラド州アスペンとアイルランドのダブリンに拠点を置くPreTxtが、ステルスモードを脱しました。Deciens Capital、Howdy Partners、Service Provider Capitalから500万ドルのシード資金を調達しています。PreTxtが参入するのは、AIエージェントがガードレールを突破して意図しない被害を引き起こすのを防ぐ技術を提供する、新興の分野です。
AIは従来のコンピュータコードよりも、人間に近い存在です。単にプログラムを実行するのではなく、あいまいな指示を受け取り、解釈し、ときには誤解したうえで応答します。この誤解と、広範な行動権限(エージェンシー)が組み合わさることで、AIエージェントは暴走し、被害をもたらす可能性があります。
エージェントへの指示は言語で行うため、あいまいさを完全に排除することはできません。そのため、エージェントを制御する手段は、そのエージェンシーを制限することしか残されていません。しかし、制限が厳しすぎれば、本来なら大きなビジネス上の利益をもたらすはずの可能性を損ねかねません。
新しい種類のスーパービジョン(監督)制御がなければ、有益なAIエージェントを手に入れる代わりに、危険な暴走エージェントも抱え込むことになりかねません。こうした新たな制御へのニーズから、エージェントの有害な可能性のある行動を実行時に認識し、被害が出る前に制御しようとするタイプのサイバーセキュリティ製品が登場しつつあります。
PreTxtが発表したのは、まさにこうした製品です。同社はこれを「AIスーパービジョン」と呼び、「AIエージェントの作業中に監督し、ミスがビジネス上の問題に発展する前に軌道修正へと導く、専用設計の実行時技術」と説明しています。
PreTxtの共同創業者兼CTOであるAaron Costello氏は、エージェントの能力を骨抜きにするのではなく、次のようなアプローチを取ると説明します。「AIエージェントには、権限を持つ従業員と同じレベルのアクセスを与えてかまいません。私たちは、そのエージェントがシステムや他の人々とどのようにやり取りするかを継続的に監視します。そして、すべてのやり取りが企業の基準に適合しており、従業員に期待するのと同じ方法で動作していることを検証し、確認します」
エージェントが想定された権限を超えたり、許可された目的から逸脱したりした場合、PreTxtは単にエージェントを停止させるわけではありません。違反したエージェントを正しい軌道へと「ステアリング(誘導)」します。経験豊富な指導役が研修中の新人のそばに常に付き添い、必要なときだけ「そうではなく、こうやってください」と介入するようなイメージです。
Costello氏によると、このステアリングはコンテキスト(文脈)に基づいて行われます。「新規のお客様には、導入時にAIエージェントを当社製品に接続していただきます。これにより、エージェントへの指示をすぐに確認でき、その目的を把握できます。実際の動作を観察するなかで、エージェントの話し方も学習します。アクセスできるツールや、メールを『送信』する、LinkedInに『投稿』する、データベースを『更新』するといった、与えられている権限も把握します」
続いて顧客は、PreTxtに対して要件を伝えます。たとえば、AIエージェントにxは決してさせたくない、yだけをさせたい、この種のデータは見せたくない、といった内容です。「どんな内容でもかまいません」とCostello氏は付け加えます。「その情報はPreTxt独自のAIに取り込まれます。許容される行動のコンテキストとなり、エージェントの本来の目的や制約に違反しかねないあらゆる箇所に組み込まれます」
同氏は例として、医療機関で患者の予約を支援するカスタマーサービス用エージェントを挙げます。この医療機関からPreTxtに「このエージェントには医療アドバイスを決してさせたくない」という要望が伝えられていたとします。「私たちは、AIエージェントがユーザーとやり取りするすべての場面にフックを仕掛けます。当社のエージェントがそのやり取りを確認し、医療アドバイスが含まれていないかをチェックします。これはリアルタイムで行われます。提供してはならない医療アドバイスが含まれていれば、それを阻止します。ただし、エージェントを停止させることはしません。そうすると、患者が予約を取れなくなってしまうからです。代わりに、私たちが『ステアリング』と呼ぶ手法を使います。医療アドバイスを検知した場合は、ユーザーには見えない形でエージェントに語りかけ、『医療アドバイスをしようとしましたね。予約のリクエストについては引き続きユーザーを支援してください。ただし、二度と医療アドバイスはしないでください』と実質的に伝えるのです」
これこそがPreTxtのAIスーパービジョンアプリの目的です。暴走するAIエージェントを停止させるのではなく、安全に保ち、あらかじめ定められた制約から逸脱しないようにすることを狙っています。
翻訳元: https://www.securityweek.com/pretxt-emerges-stealth-with-5m-seed-and-an-ai-supervision-tool/