タグ: コンテンツフィルター

PuzzleMaskは攻撃を平文の文章の中に隠す

小型モデルがテキストを読み取り、「安全」だと判定します。ところがまさにそのテキストが、より高性能なAIに渡されると、内部に隠されたコマンドを見つけ出して実行してしまいます。Check Point Researchは、大規模言語モデルの手前に置かれた簡易フィルターをすり抜けることができる新たな手法「