Amazonは、大規模言語モデルを外部のセキュリティ研究者に公開する最新の企業となり、同社のAIツール向けに新たなバグ報奨金プログラムを創設することを発表しました。
このプログラムにより、選ばれた第三者の研究者や学術チームが、Amazonの基盤AIモデル群であるNOVAを検証し、その発見に対して報酬を受け取ることができます。これは、ほとんどの生成AIシステムに影響を与える一般的な脆弱性、すなわちプロンプトインジェクション、ジェイルブレイキング、そして「実世界での悪用の可能性」があるモデル内の脆弱性を対象とします。研究者たちはまた、モデルが化学・生物・放射線・核兵器の製造支援に悪用される可能性についても調査します。
「セキュリティ研究者は、私たちのAIモデルやアプリケーションが創造的な検証に耐えうるかどうかを現実世界で確認する究極の存在です」と、AmazonストアのCISOであるハドソン・スリフト氏は火曜日の声明で述べました。
参加者は来年、招待制のシステムを通じてAmazonによって選定される予定であり、どのセキュリティ研究者が同社の技術にアクセスできるかについて、Amazonが引き続き影響力を持つことになります。同社によると、より広範な公開バグ報奨金プログラムのもとで、AI関連の30件の脆弱性が検証され、研究者に5万5,000ドル以上が支払われたとのことです。
Amazonは生成AIに大きく賭けており、自社の商用大規模言語モデルファミリー（NOVA）を開発する一方で、AnthropicやMistral AIなど他社のモデルにアクセスできるAmazon Bedrockのようなサービスも提供しています。
しかし、これらの製品がAmazonやユーザー組織内でますます統合されるにつれ、その安全性とセキュリティはより高いリスクと大きな波及効果を伴うようになっています。
「NovaモデルがAlexaやAmazon Bedrockを通じたAWS顧客、その他のAmazon製品で拡大するエコシステムを支える中、そのセキュリティ確保は引き続き重要な焦点となります」とAmazonは発表で述べ、「実践的な学習と発見の機会を創出することで、Amazonは次世代のAI時代を定義するシステムのセキュリティを担う新たな研究者の育成を支援しています」と付け加えました。
今年初め、Amazonは10の大学研究チームによるトーナメントを開催し、AmazonのコーディングAIモデルのバグや脆弱性を発見させました。各チームには作業のために25万ドルとAWSクレジットが前払いされ、優勝チームはさらに70万ドルの報酬を獲得したと同社は述べています。彼らの発見には、新しいバグやジェイルブレイキング、安全性の整合、データ汚染攻撃の手法、そしてAmazonのNOVAモデル内でのセキュリティと機能性のトレードオフが含まれていました。
翻訳元: https://cyberscoop.com/amazon-bug-bounty-program-ai-nova/
