新システムは、プロンプトや応答内容を露出させることなく、複数のやり取りにまたがるAIの悪用を検知するように設計されています。
OpenAIは、企業が自社のZero Data Retention(ZDR、データ非保持)方針を維持したまま、複数のやり取りにまたがるAIシステムの悪用をプロンプトや応答を保持せずに検知できる新たな安全機能を追加します。これにより、リスク監視とデータ非保持の両立が可能になります。
「OpenAIはリクエスト処理後、プロンプトやモデルの応答を保持しません」と、同社はZDR方針について説明したブログ投稿で述べています。Private Safety Processingと呼ばれるこの新システムは、「OpenAIの担当者が元のコンテンツにアクセスすることなく、関連するやり取り間のパターンを識別できるよう設計されている」といいます。
この機能は現在、対象となるエンタープライズおよびAPI顧客向けにテストが行われています。従来の安全対策は各やり取りを個別に評価する仕組みであったため、時間の経過とともに顕在化するリスクの検知が難しいという課題があり、今回の機能はそれに対応することを狙いとしています。
Private Safety Processingの機能とは
OpenAIによれば、Private Safety Processingは各プロンプトを個別に分析するのではなく、関連するやり取り全体にわたる活動を関連付けることで、既存の安全システムを拡張するよう設計されています。
OpenAIによると、このモデルでは自動化システムがやり取りを分析し、元のプロンプトや応答を露出させる代わりに「関与した活動の種類を示す、限定的に定義されたシグナル」を生成する仕組みになっています。
同社によれば、このシステムは、顧客データが企業側の管理下にあるインフラ内に留まる場合でも、顧客が管理する暗号鍵によってOpenAI側に保存される場合でも、どちらでも機能するとしています。
「いずれの場合も、自動化システムは潜在的な悪用を識別し、OpenAIの担当者に元のプロンプトや応答を露出させることなく、限定的な安全シグナルを返すことができます」と同投稿は付け加えています。
既存の安全対策が不十分な理由
OpenAIは、今回の新機能がAIリスク検知におけるギャップに対応することを意図していると述べています。
「最も深刻なAI安全リスクは、単一のやり取りだけでは必ずしも見えてきません」と同社は述べ、悪意ある意図は複数のやり取りをまとめて見て初めて明らかになる場合があると指摘しています。
同社によれば、こうしたリスクには、安全対策を繰り返し探るような試み、複数アカウントにまたがる連携した活動、一連のやり取りの中で徐々に顕在化する悪用などが含まれます。
AIシステムがより長く複雑なタスクを担うようになるにつれ、個々のプロンプトを単独で評価する方式では、こうしたパターンを識別する能力に限界が生じるとOpenAIは投稿で述べています。
AI安全性に対するアプローチの違い
Private Safety Processingの導入は、AIプロバイダー間で安全性への取り組み方が異なることを浮き彫りにしています。
OpenAIは、このシステムがデータ非保持を維持しながら、やり取りにまたがる悪用パターンを検知するよう設計されていると述べています。
これに対し、一部のプロバイダーは安全監視を支援するために顧客のやり取りデータを一定期間保持しており、複数のリクエストにまたがるリスクを識別する上で異なるアプローチを採っています。
Greyhound Researchのチーフアナリスト、Sanchit Vir Gogia氏は、両者の違いはシグナルを利用するかどうかではなく、証拠をどう扱うかにあると指摘します。
「これはプライバシーと監視の対立というより、いずれにせよ保持するシグナルに加えて、どこまで元のコンテンツを必要とするかという意見の相違です」とGogia氏は述べています。
同氏は、両アプローチとも派生的な指標に依拠している点は共通しているものの、調査用データがどこに存在するかという点で異なると付け加えました。「Anthropicは事案を調査するのに十分なコンテンツを求めます。一方OpenAIは、プロバイダー側が警報を保持し、事案そのものは顧客側に保持させるという考え方です」と同氏は述べています。
シグナルベースの検知と検証
このシステムが直接的なデータアクセスではなくシグナルに依拠している点は、企業がインシデントを検証・調査する方法にも変化をもたらすと、アナリストらは指摘しています。
「このアーキテクチャは十分に実現可能です。セキュリティ分野では、一世代にわたって派生的な指標をもとに業務を行ってきました。難しいのは実現可能性ではなく検証です」とGogia氏は述べています。
同氏は、時間をまたいだ挙動を検知するには、何らかの形での表現を保持しておく必要があると付け加えました。「時間をまたいで何かを記憶していない限り、システムは時間をまたいだ挙動を検知できません」と同氏は述べています。
Private Safety Processingは「プライバシーを保護した悪用検知の仕組みです。企業向けのフォレンジック記録ではありませんし、OpenAI自身もそう主張してはいません」と同氏は述べています。
規制対象業種への影響
Gartnerのシニアプリンシパルアナリスト、Apeksha Kaushik氏によれば、このアプローチは厳格なデータ要件を持つ業種におけるAI導入に影響を与える可能性があります。
「Zero Data Retention(ZDR)を採用するようなプライバシー保護型の安全モデルは、金融サービスやヘルスケアといった規制対象業種におけるAI導入の障壁を下げ得る、新たなアプローチを示しています」と同氏は述べています。
こうしたモデルは「組織が特定のプライバシー要件に対応する助けとなる可能性があり、具体的な実装の詳細や規制当局の指針次第では、GDPRやHIPAAといった枠組みとも整合し得ます」と同氏は指摘しています。
Kaushik氏は、組織はこうしたアプローチを自社のコンプライアンス要件に照らして評価すべきだと付け加えました。「組織は、こうしたアプローチが自社の具体的な規制・運用要件を満たすかどうかを、コンプライアンス部門や法務部門と相談して判断することが推奨されます」と同氏は述べています。
OpenAIによれば、このモデルの下でも企業は自社データに対する管理権を保持し、自社のシステムを用いてアラートを調査できます。また顧客は、調査や異議申し立てを支援するために、関連データを同社と共有することも選択できます。
アナリストらは、これにより責任の所在が企業側にシフトすると指摘しています。「Zero Data Retentionはフォレンジック上の負担をなくすわけではありません。その所在を移すだけです」とGogia氏は述べています。
Gyana Swain氏は、通信・IT分野の取材で20年以上の経験を持つベテランテクノロジージャーナリストです。VARINDIAのコンサルティングエディターを務めており、これ以前にはCyberMedia、PTI、9dot9 Media、Dennis Publishingで編集職を歴任しました。著書2冊を出版しており、業界に対する深い知見とストーリーテリングの手腕を兼ね備えています。仕事を離れると、旅行とクリケット観戦を熱心に楽しんでいます。Utkal大学で学士号(B.S.)を取得しています。
