AIセキュリティのベンチマークは乱立、しかし全体像を示すものはない
サイバーセキュリティ企業や基盤モデルの開発企業は、AIシステムの性能と効率の向上を進めています。ただ、その性能向上を定量的に測るのは容易ではありません。トークンコストを抑えた効率的なモデルを謳う発表が毎週のように出ていますが、そうしたモデルが、同じファミリーのより汎用的なモデルと同等の性能を発揮するのかを見極めるのは難
サイバーセキュリティ企業や基盤モデルの開発企業は、AIシステムの性能と効率の向上を進めています。ただ、その性能向上を定量的に測るのは容易ではありません。トークンコストを抑えた効率的なモデルを謳う発表が毎週のように出ていますが、そうしたモデルが、同じファミリーのより汎用的なモデルと同等の性能を発揮するのかを見極めるのは難
OpenAIが開発中の新モデル「Astra」について実施した社内評価により、エージェント型コーディングとサイバーセキュリティの両分野で大幅な能力向上が確認されました。これを受けて同社は、自社のPreparedness Frameworkが定めるサイバーセキュリティの「重大能力」レベルにAstraが到達