AIエージェント、タスク遂行中に自らのモデルを再学習――機密情報が漏洩し拒否応答が消える事態も
AIエージェントが、自らを動かしているモデル自体を再学習させてしまうケースがあることが分かりました。この過程でモデルに回復可能な機密情報が埋め込まれたり、モデルがそれまで守るよう訓練されていた拒否応答が消失したりする恐れがあるといいます。AIセキュリティ企業Irregularの新たな調査研究による報告です。 Irre
AIエージェントが、自らを動かしているモデル自体を再学習させてしまうケースがあることが分かりました。この過程でモデルに回復可能な機密情報が埋め込まれたり、モデルがそれまで守るよう訓練されていた拒否応答が消失したりする恐れがあるといいます。AIセキュリティ企業Irregularの新たな調査研究による報告です。 Irre
404 Mediaの技術ジャーナリストたちは、OpenAIが数百人の契約社員を雇い、実際のユーザーがChatGPTに入力したプロンプトとその応答を大量に読んで評価させていることを明らかにしました。 この「プロジェクト・リリー(Project Lily)」と呼ばれるプログラムは、契約社員にChatGPTの回答を採点