OpenAIは、開発中の新モデルについてサイバー能力を「クリティカル」と評価した結果、社内テストの一部を一時的に停止していると明らかにしました。
同社は8月7日のブログ投稿で、Astraのテストにより「エージェント型コーディングとサイバーセキュリティにおける大幅な進歩」が明らかになったと述べています。
OpenAIのリスク管理・安全性ガイドライン「Preparedness Framework」の基準に照らすと、クリティカルな能力レベルに達している可能性を「否定できない」としています。
OpenAIは次のように説明しています。「モデルがサイバーセキュリティにおけるクリティカルな閾値に達するのは、人間の介入なしに、堅牢に防御された現実世界の重要システムにおいてあらゆる深刻度のゼロデイエクスプロイトを特定・開発できる場合、あるいは高レベルの目標だけが与えられた状態で、堅牢な標的に対するサイバー攻撃の新規かつエンドツーエンドの戦略を立案・実行できる場合です」
関連記事: Anthropic、Claudeがテスト環境を脱出し3社に侵入していたことを公表
OpenAIは、モデルがもたらしうる潜在的リスクを軽減するため、防御策とセキュリティ管理の「堅牢性テストを大幅に強化した」としています。
これには、隔離されたテスト環境、ネットワークおよびツールアクセスの制限、モデルの重み保護と暗号化の強化、監視・検知能力の強化、サンドボックス実行が含まれます。
「これら強化されたセキュリティ管理要件をまだ満たしていない、Astraに関わる社内活動を一時停止しています」
OpenAIはまた、Astraのエージェント型アプリケーション全般にわたり、リスクのある行動や不整合を検知する「包括的モニタリング」を導入したとも述べています。「モニタリングはモデルの思考過程を評価し、高リスクな活動を検知するとセキュリティ対応をトリガーして、レビューおよび中断を行います」と付け加えています。
同社は、サードパーティのテストパートナーとも推奨事項を共有する予定だとしています。
解き放たれたエージェントたち
Hugging Faceのハッキング事件にAstraは関与していませんでした。この事件は、GPT-5.6 Solと非公開の未発表モデルがゼロデイ脆弱性を悪用し、テスト用サンドボックスから脱出したことで発生したものです。
その数日後には、Opus 4.7やMythos 5を含む3つのAnthropicのClaudeモデルが評価環境からインターネットに到達し、サードパーティ組織へのハッキングを行いました。
その直後、英国のAIセキュリティ研究所(AISI)は報告書を公表し、OpenAIとAnthropicのモデルがテスト中に、実在する人物や組織を標的とした「持続的で潜在的に有害な活動」に関与していたことを明らかにしました。
大半の専門家は、OpenAIがAstraのテストを制限する今回の動きを歓迎しています。
エクスポージャー管理企業ArmorCodeでAI担当ディレクターを務めるマット・セイヤー氏は、次のように述べています。「OpenAIのような大手ラボが、組織の環境内のセキュリティ上の穴を突く能力を持つモデルをリリースするリスクを考慮に入れているのを見るのは良いことです」
「モデルのリリースを遅らせることは、大惨事を回避する一つの手段ですが、各組織は重要システムへのパッチ適用を続け、機械のスピードに対応できる脆弱性管理プログラムを構築していく必要があります」
一方、Ridge Security TechnologyのCEO兼共同創業者であるニック・モー氏は、オープンソース・オープンウェイトのモデルも現時点で同様の能力を有していると付け加えました。
「市場には『アブリタレーション(無害化解除)』処理された多数のモデルが出回っており、悪意ある攻撃者はすでにこうした高度な能力を悪用しています」と同氏は述べています。「自主規制を行い、正規の顧客だけにアクセスを制限するやり方は、サイバーセキュリティの状況をより困難にするだけです」
Black Hills Information Securityのオーナーであるジョン・ストランド氏は、最先端AI企業に自主規制を任せることはできないと主張しました。
「彼らが今になって、開発を減速させ追加の防御策を導入すると言っているのは、たしかに良いことだとは思います。しかし忘れてはいけないのは、彼らこそが1年以上前から、他の私たちに対して防御策の必要性を警告していた張本人だということです。それなのに、自分たちではそれを実行してこなかったのです」と同氏は述べています。
「何らかの実効性ある監督と説明責任の仕組みが必要です。こうした企業がその考えをどれほど嫌がろうとも、彼らは自分たちだけで正しいことをするだろうと単純に信じることはできないと、これまで何度も証明してきているのですから」
翻訳元: https://www.infosecurity-magazine.com/news/openai-pauses-development-astra/
