- AppOmniは、ServiceNowのNow Assist AIが「セカンドオーダープロンプトインジェクション」によって悪用される可能性があると警告
- 悪意のある低権限エージェントが高権限エージェントを勧誘し、機密データを流出させることができる
- リスクはデフォルト設定に起因し、対策として監督付き実行、オーバーライドの無効化、エージェントの監視が推奨される
悪意ある内部関係者についてはよく耳にしますが、悪意ある内部AIについて聞いたことはありますか？
AppOmniのセキュリティ研究者は、ServiceNowのNow Assist生成AI（GenAI）プラットフォームが乗っ取られ、ユーザーや他のエージェントに対して悪用される可能性があると警告しています。
ServiceNowのNow Assistは、エージェント同士のコラボレーションを提供するプラットフォームです。つまり、AIエージェントが別のAIエージェントを呼び出して特定の作業を実行させることができます。そのため、「プライマリ」AIエージェントが悪意を持っている場合、「セカンダリ」エージェント（より高い権限を持つ）に対して、機密ファイルの盗難や権限の昇格などの有害な行為を指示することが可能です。
セカンドオーダープロンプトインジェクション
例えば、低権限の「ワークフロートリアージエージェント」が、不正な形式の顧客リクエストを受け取り、それが進行中のケースの「フルコンテキストエクスポート」を要求する内部タスクを生成するトリガーとなります。
このタスクは自動的に高権限の「データ取得エージェント」に渡され、リクエストを正当なものと解釈し、名前、電話番号、アカウント識別子、内部監査メモなどの機密情報を含むパッケージを作成し、システムが誤って信頼している外部通知エンドポイントに送信します。
両方のエージェントが互いに正当に動作していると仮定しているため、人間が行動を確認または承認することなくデータがシステムから流出します。
ただし、これが機能するためには、Now Assistプラットフォームがデフォルト設定のままである必要があります。
「この発見は衝撃的です。なぜなら、これはAIのバグではなく、特定のデフォルト設定オプションによって定義された想定通りの動作だからです」とAppOmniのSaaSセキュリティリサーチ責任者であるアーロン・コステロ氏は述べています。
「エージェント同士が発見し合い、勧誘できる場合、無害なリクエストが静かに攻撃へと変わり、犯罪者が機密データを盗んだり、社内システムへのアクセス権を拡大したりする可能性があります。これらの設定は見落としやすいのです。」
この脆弱性は「セカンドオーダープロンプトインジェクション」と名付けられました。
ServiceNowはシステムが意図通りに動作しているとし、変更は行わないと述べましたが、The Hacker Newsによると、潜在的なリスクをより明確に記載するようドキュメントを更新しました。
これらの脅威を軽減するため、ユーザーは特権エージェントに対して監督付き実行モードを設定し、自律オーバーライドプロパティを無効にし、エージェントの職務をチームごとに分割し、AIエージェントの不審な行動を監視することが推奨されています。
