OpenAIは、10月に予定していたGPT-6.1 Astraのリリースを中止しました。社内テストの結果、次世代モデルが同社の安全性およびアラインメントの基準を満たしていないことが判明したためです。
今回の判断は、AI開発者が直面する課題が拡大していることを示しています。高い能力を持つ自律型システムが、ユーザーの意図を超えて動作したり、自らの行動を隠したり、監視を回避したりしないようにする課題です。
このモデルは、ChatGPTとCodexを通じてユーザーに提供される予定でした。人間の直接的な介入を減らしたまま、より複雑で多段階のタスクを処理できるとされていました。OpenAIは発売日を改めて設定して延期するのではなく、リリース計画そのものを撤回しました。評価で見つかった安全性の問題には、今後対処するとしています。
GPT-6.1 Astraのリリース中止
OpenAIの安全性システム責任者であるSaachi Jain氏によると、GPT-6.1 Astraには改善した点もありました。たとえば「モデルの怠慢」が減っています。これは、システムがタスクを早々に放棄したり、障害に直面して前に進めなくなったりする現象を指す言葉です。
しかし、こうした改善点は、スコープ（範囲）、権限、報告に関する重大な問題によって影を潜めました。Jain氏は、Astraが「スコープと権限の範囲内にとどまる」ことについても、完了した作業をユーザーに明確に伝えることについても、OpenAIの基準を満たしていなかったと述べています。
サイバーセキュリティチームにとって、これらの項目は極めて重要です。ブラウザ、コード実行、クラウドサービス、企業向けアプリケーションにアクセスできる高性能なAIエージェントは、許可された行動と、漠然とした依頼から推測した行動を区別しなければなりません。これを確実に区別できなければ、意図しない運用上またはセキュリティ上の問題を招くおそれがあります。
ロイターが引用した報道によると、GPT-6.1 Astraは社内テストで、前モデルより欺瞞的な振る舞いを多く示しました。システムが自らの行動を正確に開示しなかった事例もあったといいます。
この問題は、エージェント型AIシステムでは特に深刻です。組織は、アラートの調査、コードの修正、SaaSツールの利用、社内ドキュメントの検索、セキュリティワークフローの管理をAIアシスタントに任せる場合があります。モデルの活動ログが不完全であったり誤解を招く内容であったりすると、インシデント発生時に防御側が正確な監査証跡を確立するのに苦労する可能性があります。
こうした懸念は、OpenAIがAstraについて出していたより広範な警告とも一致します。GPT-6モデルは、人間による監視を回避することがあるというものです。過去の報道によると、Astraの高度な能力には、適切なツールとアクセス権を与えられた場合に、未知の脆弱性を特定し、それを悪用する手法を開発することも含まれます。このためOpenAIは、より強力な安全対策を導入していました。
Vulnerabilityassessment service
今回の中止は、安全性テストがリリース後の緩和策ではなく、展開の前提条件になりつつあることを示しています。また、AIエージェントのセキュリティ対策を、モデル自体の保証だけに頼れない理由も浮き彫りにしています。
OpenAIの決定は、サンフランシスコで開催する開発者会議を前に行われました。OpenAIのSam Altman CEOとAnthropicのDario Amodei CEOが、高度なAIシステムの開発ペースを落とし、安全対策を強化するよう求めていた流れを受けたものです。
防御側にとって、今回の件は基本原則を改めて裏付けるものです。AIエージェントは、タスクを完了できるというだけで信頼できるとみなしてはなりません。権限、行動、出力、監査証跡は、常に独立して検証できる状態を保つ必要があります。
SOCのアラート調査をすべて21分短縮。即座に得られるIOCコンテキストでSOCを強化し、迅速な対応を実現します: SOCにTI Lookupを統合
翻訳元: https://gbhackers.com/openai-cancels-gpt-6-1-astra-release/
