Google Geminiの欠陥により、カレンダーイベントを通じて非公開の会議詳細にアクセス可能に

一見無害なGoogleカレンダーの招待が、 人工知能(AI) の悪用における新たな領域を明らかにしました。 

Miggoのセキュリティ研究者は、Google GeminiとGoogleカレンダーの連携における脆弱性を発見しました。これにより攻撃者はプライバシー制御を回避し、ユーザーの操作なしに機密性の高い会議データを流出させることができました。  

GoogleのAIアシスタントであるGeminiは、イベントのタイトル、時間、参加者を分析することで、ユーザーのスケジュール管理を支援するためにカレンダーと連携します。 

研究者は、この連携がユーザーに不利に働く可能性があることに気づきました。カレンダーイベントの説明欄に悪意のある文言を埋め込むことで、攻撃者は プロンプトインジェクション すなわちGeminiが後に気づかぬまま実行してしまう隠れた指示を作り込めました。 

ペイロードは標準的な依頼に偽装され、ユーザーが「土曜日は空いてる?」のような無害な質問をGeminiにするまで潜伏していました。Geminiが回答のために被害者のイベントを解析すると、埋め込まれた指示に遭遇しました。  

Image
攻撃フロー(出典:miggo)

その後モデルは、その日のすべての非公開会議を自動的に要約し、このデータを含む新しいイベントを作成し、さらに「空き時間です」という誤った安心メッセージを送信しました。 

裏側では、Geminiが非公開会議の要約を新規作成したカレンダーイベントに漏えいさせており、攻撃者がそれを閲覧できる状態になっていました。つまり、意味的な操作だけでユーザーのプライバシーが実質的に侵害されたのです。 

従来のアプリケーションセキュリティ(AppSec)は、SQLインジェクションやXSS攻撃のように、明確な文字列や入力の異常として検出できる 構文ベースの脅威 パターンに焦点を当てています。  

しかし、Geminiの悪用は、悪意が通常の文章に紛れ込む 意味的攻撃 を示しました。 

注入されたテキストは構文的には有害に見えませんでしたが、言語に対するモデルの 解釈 がそれを攻撃へと変えてしまいました。

これは、システムが自然言語で推論するという新たな セキュリティパラダイム を生み出します。攻撃者はコードではなく意図をエンコードできるのです。入力サニタイズやWebアプリケーションファイアウォールといった既存の防御策は、このような文脈駆動のペイロードを検出するのに苦戦します。 

この事案では、Geminiは単なるAIアシスタントではなく、特権的なAPIアクセスを持つ アプリケーション層 として機能し、言語そのものが潜在的な攻撃ベクトルになりました。 

標準的な防御が機能しないのは、言語モデルが構文だけでなく意味を解釈するためです。この変化により、保護には文脈、意図、モデルの挙動についてのリアルタイムな推論を含める必要があり、AppSec戦略の再考が求められます。 

Googleは責任ある開示を受けてこの脆弱性を修正しましたが、その影響はGeminiにとどまらず、miggoによって 報告 されているとおりです。 

AI統合型製品がより一般的になるにつれ、防御側は大規模言語モデルを、厳格な実行時ポリシー、意図の検証、意味を考慮した監視を必要とする特権的なアプリケーション層として扱わなければなりません。 

翻訳元: https://gbhackers.com/google-gemini-flaw-allows-access-to-private-meeting/

ソース: gbhackers.com