OpenAIは、関連するAIとのやり取りを横断して不正利用のパターンを検知する安全性監視アーキテクチャ「Private Safety Processing(PSP)」をプレビュー公開しました。これは、対象となるAPI顧客向けにゼロデータリテンション(ZDR)の方針を維持したまま実現するものです。
この取り組みは、企業が直面しつつあるジレンマに対応するものです。フロンティアモデルの安全対策を強化するには、より広範な行動コンテキストが必要になる場合が多い一方で、機密性の高いプロンプトや出力を保持し続けることは、プライバシーやセキュリティ、規制上の義務と衝突しかねません。
OpenAIのZDRモデルでは、プロンプトとモデルの応答は処理後に保持されず、顧客のコンテンツはOpenAIの担当者によるレビューの対象外となります。また、顧客が明示的にオプトインしない限り、企業データはモデルの学習に使用されません。
同社によると、PSPは既存のZDR対応コントロールが持つ単一リクエスト単位の範囲を超えて安全性分析を拡張することを狙いとしつつ、顧客の元データを人間のレビュー担当者に開示しないようにするものだといいます。
従来の安全性システムは、単一のプロンプトや応答について禁止事項や有害なコンテンツの有無を評価できます。しかしOpenAIは、深刻な不正利用は複数のやり取りにまたがる活動を相関させて初めて浮かび上がる場合があると指摘しています。
たとえば脅威アクターは、一見無害に見える一連のプロンプトに悪意ある意図を分散させたり、モデルの安全対策を繰り返し探ったり、複数アカウントにまたがって活動を連携させたり、有害な目的を通常の研究活動に見せかけたりすることがあります。
同様のリスクは、エージェント型システムにおいても発生し得ます。長時間にわたるタスクの実行中に、AIモデルの挙動がユーザーの意図した権限の範囲から徐々に逸脱していく可能性があるためです。
これは、コード解析、脅威リサーチ、セキュリティ自動化、インシデント対応にAIを活用しているサイバーセキュリティチームにとって特に重要な意味を持ちます。単発のクエリは一見正当なものに見えても、一連の長いやり取りを見ると、制御の回避や不正利用の自動化、業務に害を及ぼしかねない能力の開発を試みていることが明らかになる場合があるからです。
OpenAIによると、ZDR環境では顧客のコンテンツは顧客自身が管理するインフラ上に留まります。同社はまた、OpenAIがホストするストレージオプションの開発も進めており、そこでは顧客が管理する鍵を使ってコンテンツが暗号化されます。
発表によると、OpenAIの担当者はこれらの暗号鍵の複製を保持しないため、元のプロンプトや応答にアクセスすることはできません。
代わりに自動化された安全性システムが関連する活動を分析し、不正利用の可能性が検知された場合には、範囲を限定した安全性シグナルを生成します。
こうしたシグナルは、生の顧客コンテンツを開示するのではなく、懸念される活動のカテゴリーや種類を示すものになります。OpenAIはこのシグナルを用いて対応の要否を判断できますが、担当者がフラグの立てられたコンテンツ自体にアクセスすることはありません。
顧客側は、自社の環境にある情報を使ってアラートを調査する権限を引き続き保持できるほか、判断への異議申し立てや正当な活動であることの説明、確認済みの不正利用に関する調査への協力を行う際には、任意で関連データを提供することも可能です。
このモデルは、プライバシーを保護しながら安全性を監視するという設計思想を反映しています。機密性の高いデータの管理権を維持しつつ、より長い行動履歴にわたる自動検知を可能にするというものです。
医療、金融、法律サービス、重要インフラなどの規制対象業界にとっては、これによって、高度なAI機能を導入することと、データ最小化・機密保持・第三者アクセスに関する要件を満たすこととの間にある緊張関係が緩和される可能性があります。
このセキュリティ上の意義は、職務の分離にあります。顧客が管理するインフラや暗号鍵によってプロバイダー側のアクセスを機密性の高い資料に対して制限する一方で、自動化されたコントロールが不正利用の検知と対応のための限定的なテレメトリー層を提供するという構図です。
ただし、相関の対象範囲、シグナルの粒度、暗号設計、アクセス制御、監査可能性、誤検知への対応、異議申し立てプロセスといった実装の詳細が重要になってきます。
セキュリティチームに、不審な活動を迅速に調査し、ビジネスへの影響が拡大する前に脅威を封じ込めるための可視性とコンテキストを。ANY.RUNで調査力を強化
翻訳元: https://cyberpress.org/openai-unveils-private-safety-processing/
