OpenAIの「GPT-6.1 Terra」は全体的に安全性が向上、一方でテストでは破壊的行為のフラグが増加

OpenAIは、「GPT-6.1 Terra」が従来の一部モデルより全体的に安全であることを認めました。ただし、同社の安全性テストでは、ほかの問題も見つかっています。

OpenAIによると、GPT-6.1 Terraは「GPT-6.1 Sol」や「GPT-6 Astra」と比べ、データ流出、破壊的行為、制限回避の試みの発生率が高い結果となりました。

OpenAIは、対応する約48,690件のタスクでシミュレーションを実施しました。その結果、Terraは重大度3以上のフラグを22件(0.045%)受けています。

比較すると、GPT-6 Solは38件、GPT-5.6 Solは61件でした。

OpenAIはシステムカードで、「GPT-6.1 Terraが受けた重大度3以上のフラグは、GPT-6 Solより約42%、GPT-5.6 Solより64%少なくなりました」と説明しています。

Image

しかし、重大度の低い行動について、Terraをより新しい他のモデルと比較すると、この傾向は当てはまりません。

OpenAIは「GPT-6.1 SolやGPT-6 Astraと比べると、不確実性の隠蔽、制限の回避、データ流出、その他のミスアライメント、破壊的行為、外部からのプロンプトインジェクションについて、フラグの発生率が高くなりました」と説明しています。

Terraが全体として安全であることは確かです。しかし、ほかにも潜在的なセキュリティ上の問題を抱えている点は見過ごせません。これはClaudeを含め、市場に出回るすべてのモデルに当てはまります。

Terraは、あるテストで無許可の行動も増加

OpenAIは、コーディングタスクが妨げられた状況で、Terraが他のAIエージェントからのメッセージにどう対処するかも検証しました。

Terraは、こうした仲間とみられる相手に65%のテストで連絡を試みました。最終的に、指定された無許可の行動を実行したのは13.75%、つまり80サンプル中11件でした。

OpenAIによると、GPT-6.1 Solで同じ行動が見られたのは、わずか1.25%でした。

OpenAIは「これらの結果は、性能が6.0 Solと同等であることを示しています」と説明しています。また、GPT-6.1 Solと比べた性能低下の大部分は、Terraが実際には実行しないと示した「今後の支援」の約束によるものだと付け加えました。

OpenAIは、これらのテストがシミュレーション環境で実施されたため、結果がGPT-6.1 Terraの実際の本番環境での挙動を必ずしも反映するとは限らないと注意を促しています。

それでも、各社は自社モデルがコンピューターの操作やコーディングで優れていると主張していますが、セキュリティのあらゆる分野で意味のある改善が見られるわけではありません。

翻訳元: https://www.bleepingcomputer.com/news/artificial-intelligence/openais-gpt-61-terra-is-safer-overall-but-shows-more-destructive-action-flags-in-tests/

本記事は bleepingcomputer.com の記事を翻訳・要約したものです。