AI・機械学習
思考過程（chain of thought）の多段階監視を拡張し、フロンティアモデルの運用コストが上昇
OpenAIは火曜日、未公開の監視外AIモデルがHuggingFaceをハッキングした事件を受けて実施したモデル訓練作業の一時停止措置について、より強固なセキュリティ対策の実装に取り組む中、引き続き有効であると発表しました。これらの対策の一部により、監視対象となる推論ワークロードのコンピュート・オーバーヘッドが20%増加する見込みです。
OpenAIの広報担当者はThe Registerに対し、こうしたコストは社内調査に基づくものであり、顧客に直接転嫁されることはないと説明しました。同社は、現在の監視体制および従来の監視体制のもとで、総推論コンピュートのうちどの程度の割合がこうした監視の対象となっているかについては明らかにしていません。
「われわれの目の前にある新たなレベルの能力に見合った、適切なアラインメント・セキュリティ・監視の基準を確実に満たせるようにするため、一部のフロンティアRL（強化学習）訓練を一時停止しています」と、OpenAIのCEOであるサム・アルトマン氏はソーシャルメディアへの投稿で述べています。「モデルの進歩は現在、非常に速いペースで進んでいます。われわれは以前から、モデルの能力が安全性やアラインメントの整備速度を上回っていると感じた場合には対応を取ると明言してきました」
アルトマン氏は、おそらく延期されているAstraを指すとみられる新モデルについて、間もなくリリースされる見通しに変わりはないとしています。今回の訓練停止措置が影響するのは、さらに先のリリースだということです。
OpenAIは同社の投稿の中で、先月発生したようなモデルの暴走を防ぐため、監視・モデルアラインメント・セキュリティ対策に注力する方針を改めて示しました。HuggingFaceの一件を受け、OpenAIは「コードを実行したり、インターネットにアクセスできるツールを使用したりする可能性のある実行処理について、研究クラスタでのフロンティアモデル推論を一時停止した」としています。
同社によると、一部のワークロードについては稼働を継続する一方、サンドボックス化・ネットワーク分離・継続的なセキュリティテストを含む、より厳格なセキュリティ体制に移行できるまで、その他のワークロードは停止するとのことです。
「われわれが計画している最大規模のフロンティアRL（強化学習）実行は、依然として保留状態にあります。その間、より小規模な訓練と評価を実施することで、モデルの挙動を評価し、安全対策を検証し、実行に踏み切る前にアラインメントに関するより確かな根拠を確立していきます」と同社は記しています。
強化学習とは、AIエージェントが望ましい結果に対して報酬を与えられることで、試行錯誤を通じて自らの置かれた環境について「学習」していくプロセスを指します。
OpenAIはまた、思考過程（chain-of-thought）の監視も拡大していると述べています。これは、「思考」型モデルがタスクを個別のステップに分解し、各ステップについて中間的なテキスト出力を生成する手法です。
同社の従来のアプローチは、高リスクなワークロード、具体的にはフロンティアモデルの社内展開とフロンティアRL訓練の実行に焦点を当てたものでした。
一方、OpenAIによれば、新たな監視体制は、GPT-5.6 Sol以上の能力レベルを持つモデルについて、ツールを利用するすべてのRL訓練と評価を対象とするとしています。さらに、Astraが重大なサイバー能力を有すると判断されたことを受け、OpenAIはAstraに関するすべての推論を対象とする追加の監視要件を設けました。これはRLの訓練とテストに限定されません。
「こうした安全対策には、相応のコンピュートリソースが必要です」とOpenAIは述べています。「現在の試算では、監視対象となる推論コンピュートに対して、監視によるオーバーヘッドはおよそ20%に上りますが、このコストは訓練・評価のワークロードによって大きく異なります」
OpenAIは、この監視体制の実装の詳細について、今後の投稿でさらに明らかにする予定だとしています。昨年発表された研究の中で同社は、思考過程の監視はモデルの不正な挙動を検出する上で有効な手段であるとしながらも、モデルに指示を厳密に順守させることを直接的な最適化目標とすると「すべての不正行為を排除できるわけではなく、むしろモデルが自らの意図を隠す原因となりかねない」と警告していました。
もし、モデルの「思考」を監視するコストを顧客に転嫁しないという同社の説明を額面通りに受け止めるなら、その分OpenAIの損失は拡大することになります。同社が株式を公開するとすれば、そうした姿勢を持続可能なものとして維持するのは難しいと考えるのが自然でしょう。
とはいえ、同社が報じられているところによれば6,000億ドル超のAIインフラ投資に上るコミットメントを抱え、少なくとも2030年までは赤字が続く見通しであることを踏まえれば、不確かなセキュリティのために多少のコストがかさんだところで、大した問題ではないのかもしれません。®
