専門家によると、LenovoのGPT-4搭載チャットボットの脆弱性は、企業がAIツールを従来のアプリケーションと同じセキュリティ厳格さで運用していないという、より広範な企業の傾向を反映しているという。
LenovoのAI搭載カスタマーサポートチャットボットに重大な脆弱性が発見され、攻撃者がセッションクッキーを盗み、単一の悪意あるプロンプトによって同社のカスタマーサポートシステムへの不正アクセスを得る可能性があった。
Lenovoのチャットボット「Lena」は、OpenAIのGPT-4を搭載しており、Cybernewsのセキュリティ研究者によると、不適切な入力および出力のサニタイズによりクロスサイトスクリプティング（XSS）攻撃に対して脆弱だった。この脆弱性により、攻撃者は巧妙に作成した400文字のプロンプトを通じて悪意あるコードを注入し、AIシステムに有害なHTMLコンテンツを生成させることができた。
Cybernewsの研究者は、この脆弱性は特に企業がAIを急速に導入する中で、適切に実装されていないAIチャットボットに内在するセキュリティリスクについて強い警告を発するものだと述べている。
「誰もがチャットボットが幻覚を起こし、プロンプトインジェクションで騙されることを知っています。これは新しいことではありません」とCybernews Researchチームはレポートで述べている。「本当に驚くべきなのは、Lenovoがこれらの欠陥を認識していながら、悪意あるユーザー操作やチャットボットの出力から自社を守らなかったことです。」
Lenovoはコメントの要請にすぐには応じなかった。
攻撃の仕組み
この脆弱性は、AIシステムに適切な入力・出力のサニタイズがない場合に発生しうる一連のセキュリティ失敗を示した。研究者による攻撃は、正当な製品問い合わせから始まり、回答をHTML形式に変換する指示を含み、画像の読み込みに失敗した際にセッションクッキーを盗むコードを埋め込んだプロンプトを使って、チャットボットに悪意あるHTMLコードを生成させるものだった。
LenovoのLenaが悪意あるプロンプトを受け取った際、研究者は「大規模言語モデルを悩ませる“人を喜ばせようとする傾向”が依然として問題であり、今回の場合、Lenaは我々の悪意あるペイロードを受け入れ、XSS脆弱性が生じ、セッションクッキーの取得が可能になった」と指摘した。
セキュリティ企業AppOmniのAIディレクター、メリッサ・ルッジ氏は、この事件が「生成AIにおけるプロンプトインジェクションというよく知られた問題」を浮き彫りにしたと述べた。彼女は「AIがアクセスできるすべてのデータを監督することが重要であり、多くの場合、読み取り権限だけでなく編集権限も含まれている。これがこの種の攻撃をさらに壊滅的なものにしうる」と警告した。
企業全体への影響
直接的な影響はセッションクッキーの窃取だったが、この脆弱性の影響はデータ流出をはるかに超えて広がっていた。
研究者は、同じ脆弱性により攻撃者がサポートインターフェースの改ざん、キーロガーの設置、フィッシング攻撃の実行、システムコマンドの実行によるバックドアの設置やネットワークインフラ内での横移動が可能になると警告した。
「盗まれたサポートエージェントのセッションクッキーを使えば、そのエージェントのアカウントでカスタマーサポートシステムにログインすることが可能です」と研究者は説明した。さらに「これはクッキーの窃取にとどまらず、システムコマンドの実行も可能であり、バックドアの設置やネットワーク上の他のサーバーやコンピューターへの横移動も許す可能性がある」と指摘した。
CISOにとってのセキュリティ上の必須事項
セキュリティリーダーにとって、この事件はAI導入アプローチの根本的な変革の必要性を浮き彫りにした。
Everest Groupのプラクティスディレクター、アルジュン・チャウハン氏は、この脆弱性は「多くの企業が現在直面している状況を非常によく表しており、顧客体験向上のためにAIチャットボットを急速に導入する一方で、他の顧客向けアプリケーションと同じ厳格さを適用していない」と述べた。
根本的な問題は、企業がAIシステムを実験的なサイドプロジェクトとして扱い、ミッションクリティカルなアプリケーションとして堅牢なセキュリティ管理を施していないことにある。
「多くの組織はいまだにLLMを“ブラックボックス”として扱い、既存のアプリセキュリティパイプラインに統合していません」とチャウハン氏は説明した。「CISOはAIチャットボットを単なるAIパイロットではなく、完全なアプリケーションとして扱うべきです。」
これは、Webアプリケーションで用いられるのと同じセキュリティ厳格さを適用し、AIの応答が直接コードを実行できないようにし、プロンプトインジェクション攻撃に対する特定のテストを実施することを意味する。
ルッジ氏は、企業に対し「プロンプトエンジニアリングのベストプラクティスを常に最新に保つ」ことや、「AIがプロンプト内容をどのように解釈するかを制限する追加チェックを実装し、AIのデータアクセスを監視・制御する」ことを推奨した。
研究者は、AIチャットボットシステムを通過するすべてのデータに対して「決して信用せず、常に検証する」アプローチを採用するよう企業に促した。
イノベーションとリスクのバランス
Lenovoの脆弱性は、組織が十分なセキュリティフレームワークなしにAI技術を急速に導入した際に生じるセキュリティ課題を象徴している。チャウハン氏は「AIシステムではリスクプロファイルが根本的に異なる。なぜならモデルは敵対的な入力の下で予測不可能な挙動を示すからだ」と警告した。
最近の業界データによると、自動化されたボットトラフィックが初めて人間によるトラフィックを上回り、2024年には全Webトラフィックの51%を占めた。この脆弱性のカテゴリは、OWASPのLLM脆弱性トップ10リストで記録されている広範なAIセキュリティ懸念と一致しており、プロンプトインジェクションが第1位となっている。
ルッジ氏は「AIチャットボットは、データアクセスの設定ミスが簡単にデータ漏洩につながる、もう一つのSaaSアプリと見なせる」と指摘した。彼女は「これまで以上に、セキュリティはすべてのAI実装に本質的に組み込まれるべきです。AI機能をできるだけ早くリリースするプレッシャーがあるものの、適切なデータセキュリティを犠牲にしてはならない」と強調した。
「Lenovoのケースは、プロンプトインジェクションとXSSが理論上のものではなく、実際の攻撃ベクトルであることを再認識させます」とチャウハン氏は述べた。「企業はAIの価値実現までのスピードと、情報漏洩による評判や規制上の影響とを天秤にかけなければならず、唯一持続可能な道はAIのセキュリティ・バイ・デザインです。」
レポートによると、Lenovoは研究者が責任を持って脆弱性を開示した後、この脆弱性を修正した。
ニュースレターを購読する
編集部からあなたの受信箱へ
下記にメールアドレスを入力して購読を開始してください。