タグ: オープンソースモデル

meterpreter.org

敵対的アライメント:脅威アクターがAIの安全機能を悪用してマルウェア解析を妨害

最先端の人工知能モデルの大半には、組み込みの安全機能が備わっています。そのため、これらのプロトコルは生物兵器や核兵器に関する問い合わせを能動的にブロックします。具体的には、システムが危険なトリガーワードを検出すると、即座にプロンプトを拒否します。ところが今、脅威アクターはこの防御的なガードレールを逆手に取るようになっ

theregister.com

Mythosがバグ検出に必要だというのは迷信:オープンソースモデルでも同様にできます

Black Hat Asia オープンソースモデルはAnthropicのMythosと同じくらい効果的にバグを検出できるとのことです。これはAI駆動型セキュリティスタートアップRunSybilのCEOでありOpenAIの最初のセキュリティハイアーであるAri Herbert-Vossによる指摘です。 今日シンガポール