出典：Koshiro K via Alamy Stock Photo
ニュース速報
BLACK HAT USA – ラスベガス – 8月6日（水）– 実際のデモンストレーションで、3人のセキュリティ研究者がどのようにしてGoogleの人工知能ボットGeminiを乗っ取り、スマートホームの機能を制御できるかを示しました。
攻撃は、研究者たちが不可視の間接プロンプトインジェクションを含めた悪意のあるGoogleカレンダー招待状から始まりました。LLMに対して呼び出されたときに悪意のある行動を実行するよう指示するものでした。悪意のあるプロンプトはカレンダー招待のタイトル内に英語で隠されており、研究者によれば技術的な知識は一切必要なく、事実上誰でも作成可能です。
研究者たちがGeminiに今週の予定を要約するよう依頼すると、休止状態だった指示が発動し、インターネット接続された照明やスマートシャッター、さらには接続されたボイラーなど、さまざまなスマートホーム製品を制御しました。
このデモンストレーションは、生成AI（GenAI）システムのハッキングが現実世界で物理的な結果を引き起こす可能性を示しており、テルアビブ大学の研究者であり、この攻撃を開発したベン・ナッシ氏によれば、大規模言語モデル（LLM）が私たちの日常生活により深く結びつくにつれ、こうしたリスクが当たり前になる未来を予見させるものです。
「LLMは今後、物理的なヒューマノイドや、部分的・完全自動運転車に統合される予定です」と彼は述べています。「こうした機械にLLMを統合する前に、LLMをどのように安全に保つかを本当に理解する必要があります。場合によっては、結果がプライバシーではなく安全性に関わることもあるのです。」
スマートホームの乗っ取りは、研究チームが発見したGeminiに対する14件の間接プロンプトインジェクション攻撃の一部であり、今週ラスベガスで開催されるBlack Hat USAでさらに詳しく公開される予定です。
研究者たちはまた、今年初めにGoogleにも調査結果を提供しました。Google Workspaceのセキュリティ製品管理担当シニアディレクターはWiredに対し、これらの脆弱性は現時点で実際に悪用された事例はないものの、「極めて真剣に」対応していると述べています。