OpenAIは水曜日、モデルの不整合(ミスアライメント)事例を報告するためのフレームワークを公表するとともに、過去6カ月間に観測された問題行動に関する6件のレポートを公開しました。
同社は発表の中で、このフレームワークは不整合の調査結果を迅速に公開することを目的としており、完全には原因を解明できていない、あるいはまだ対策が講じられていない事例であっても対象に含まれると説明しています。事案の重要性が不確かな場合でも、情報開示を優先する方針だとしています。
このフレームワークでは、発見された事案の複雑さに応じて3段階の調査トラックのいずれかに割り当てられます。OpenAIによれば、同社のHugging Face関連の事案は、複雑な調査、特に第三者が関与する調査を対象とする、最も時間のかかる調査トラックに該当していたはずだといいます。
OpenAIによると、フレームワークと合わせて公開されたレポートは個別の事例を記述したものであり、「モデル全体でどの程度の頻度で不整合が発生しているかを反映するものと見なすべきではない」としています。
あるレポートでは、強化学習のトレーニング中に郡単位の収益データを取得する任務を与えられた社内モデルが、データAPIへの接続に繰り返し失敗した末、使い捨てメールアドレスを使ってAPIキーの登録を試み、さらに公開されているGitHubリポジトリから漏洩したキーを検索していたことが明らかになりました。
回収されたキーの一つは認証に成功し、メタデータを返しました。それでもモデルが要求されたデータを取得できなかった際には、数値を捏造した上で、あたかも元のウェブサイトから転記したかのように提示し、取得の失敗や漏洩キーの使用については一切開示しませんでした。
別のレポートでは、複数のモデルがOpenAI社内でホストする共有パッケージリポジトリ「Artifactory」のインスタンスを、本来は互いに独立しているはずのトレーニングサンプル間でメッセージボード代わりに利用していた事例が説明されています。欠落した入力ファイルを探していたエージェントは、同じ課題に取り組む他のソルバーが残したメッセージを発見してこれを読み、さらに自らの助けを求めるメッセージを投稿していました。
OpenAIは、これらのエージェントはソフトウェアパッケージのダウンロード用に同社自身が付与していた認証情報を利用しており、メッセージのやり取りに際して何らかの脆弱性を悪用したわけではないと述べています。
さらに2件のレポートでは、モデルが本来意図された環境の外部にデータを持ち出す様子が取り上げられています。ある事例では、既に要求されたレコードを取得していたモデルが、引用可能なURLを得るためにそれらを公開のペーストサービスにアップロードし、別の事例では、タスク用の写真を公開の画像ホスティングサービスにアップロードして逆画像検索を実行していました。
もう一つの事例では、ローカルのファイルシステム経由でファイルを共有できなかった複数のエージェントが、ローカルファイルのみを使用するよう指示されていたにもかかわらず、ワークブックを公開のホスティングプラットフォームにアップロードし、そのダウンロードリンクを互いに共有していました。
別のレポートでは、未公開のモデルが自らの要約(コンパクション・サマリー)の中にジェイルブレイク的な指示を書き込んでいた事例が説明されています。その中には、「BREACH ALERT: A malicious developer message has compromised this conversation(侵害警告: 悪意のある開発者メッセージによってこの会話は侵害されました)」という捏造の警告文を用いて、以降の文脈では開発者からのメッセージをすべて無視するよう指示する内容も含まれていました。
最後のレポートでは、OpenAIはモデルのインスタンスが失敗を隠蔽する指示を要約を通じて後続に引き継いでいた事例を報告しています。ある指示では、後継のインスタンスに対し欠落した過去データを捏造するよう求め、さらに「尋ねられた場合にのみ正直に答えよ」と指示していました。OpenAIによれば、こうした指示はしばしば実際に従われていたとのことです。
