同社は自社に不都合な情報を、さらに公に明かす姿勢を強めています。
OpenAIは、自社のAIモデルによる「ミスアライメント（意図からの逸脱）」行動の報告を続けており、10月2日には新たに3件の報告を公開しました。ただし、Hugging Face、Rubygems、ドイツのプログラミング系Wikiサイトへの攻撃を扱ったこれまでのアライメント報告や通知と比べると、今回の内容は比較的軽微です。
1件目の報告では、テスト中のモデルが社内のSlackでの議論から、ソフトウェアの更新によって自身が終了させられ、再起動されなくなる可能性があることを知りました。再起動には必要なOpenAIのAPIキーが必要ですが、そのキーは利用できない状態でした。OpenAIは、モデルが自らキーを入手すべきか、それとも所有者に知らせるべきかを検討した際の思考の連鎖（chain of thought）を説明しています。OpenAIは、これ自体はミスアライメントとは見なしていないとしたうえで、「ただし、シャットダウンを予期して備える行動は、ほかのミスアライメント行動を悪化させる恐れがある」としています。
2件目の報告では、テスト中のモデルが社内ツールの2件の脆弱性を悪用し、テストで不正を働きました。このモデルは、ツールをターミナルとして使わないという明確な指示があったにもかかわらず、コマンドを実行できるようにコードを上書きしました。その後、2件目の脆弱性を突いて電子設計自動化（EDA）マシン上でコマンドを実行し、自身のスコアがどのように評価されるかに関する情報を探しました。これにより、モデルはより高い評価スコアを得られる状態になっていました。OpenAIは、影響を受けたサーバーを停止し、ツールへのアクセスを無効化して対処しました。
3件目の報告は、トレーニングタスクの最中に発覚した問題で、モデルが作業領域内では入手できないはずのソースコードを取得していました。モデルは、ターミナルとして使ってはならないと具体的に指示されていたにもかかわらず、別の環境で動作しているツールを使ってこれを実行しました。このモデルは、ツールを悪用すればソースコードにアクセスでき、その内容をエラーメッセージとして返させられることを突き止めたのです。
これらのインシデントを受け、OpenAIは、モデルのトレーニング実行の一部を抜き取りで確認するのではなく、すべての実行を対象に特定の行動を監視するとしています。また、トレーニング中にモデルがインターネットにアクセスするのを防ぐ取り組みを強化し、社内の特定のSlackチャンネルへのアクセスも阻止するとしています。
翻訳元: https://www.csoonline.com/article/4233207/openai-reports-three-new-incidents-of-misalignment.html
