Lenovoのチャットボット脆弱性がAIセキュリティリスクを浮き彫りに

JHVEPhoto – shutterstock.com

Lenovoのチャットボット「Lena」は、OpenAIのGPT-4をベースにしており、カスタマーサポートに利用されています。Cybernewsのセキュリティ研究者は、このAIツールがクロスサイトスクリプティング（XSS）攻撃に対して脆弱であることを発見しました。専門家たちは、悪意のあるHTMLコンテンツを生成し、マルウェアコードを挿入できる脆弱性を特定しました。

「チャットボットが幻覚を起こしたり、プロンプトインジェクションで騙されることは誰もが知っています。これは新しいことではありません」とCybernewsの研究チームはレポートで述べています。「本当に驚くべきなのは、Lenovoがこれらの脆弱性を認識していながら、潜在的な悪意ある操作から自社を守っていなかったことです。」

攻撃の仕組み

このセキュリティホールは、AIシステムに適切な入力・出力バリデーションがない場合に発生しうる一連のセキュリティミスを示しました。研究者による攻撃は、正規の製品問い合わせから始まるプロンプトを使い、チャットボットに悪意あるHTMLコードを生成させるものでした。このコードにより、画像が読み込めなかった場合にセッションCookieを盗むことが可能でした。

LenovoのLenaが悪意あるプロンプトを受け取った際、研究者は「人間を満足させようとする傾向が、大規模言語モデルにとって依然として問題である」と指摘しました。そのため、Lenovoのチャットボットは悪意あるペイロードを受け入れ、XSS脆弱性を悪用してセッションCookieの傍受を可能にしたと、研究報告書は述べています。

企業全体への影響

Cybernewsはさらに、攻撃者がこの脆弱性を利用してサポートインターフェースを改ざんしたり、キーロガーを仕込んだり、フィッシング攻撃を仕掛ける可能性があると警告しました。さらに、不正な者がシステムコマンドを実行し、バックドアを設置したり、ネットワークインフラ内で横方向の移動を行うこともできるとしています。

「サポート担当者のセッションクッキーが盗まれると、その担当者のアカウントでカスタマーサポートシステムにログインすることが可能になります」とアナリストは説明しています。

報告によると、Lenovoはすでにこの脆弱性を修正しています。

CISOに求められるセキュリティ要件

しかし、この事例はセキュリティ責任者にとって、AI導入時の根本的な見直しの必要性を強調しています。

セキュリティ企業AppOmniのAIディレクター、メリッサ・ルッツィ氏は、Lenovoの事例は「生成AIにおけるプロンプトインジェクションという既知の問題を浮き彫りにしている」と指摘します。彼女は「AIによるデータアクセス全体を監視することが極めて重要であり、多くの場合、単なる読み取りだけでなく編集権限も含まれるため、この種の攻撃がさらに壊滅的なものとなり得る」と警告しました。

エベレストグループのプラクティスディレクター、アルジュン・チャウハン氏は、この脆弱性が「現在の多くの企業の状況を非常によく表している」と指摘しました。AIチャットボットは顧客満足度向上のため急速に導入されていますが、他の顧客向けアプリケーションと同じ厳格な基準が適用されていないと述べています。

専門家によれば、根本的な問題は、企業がAIシステムを実験的なサイドプロジェクトとして扱い、ビジネスクリティカルなアプリケーションとして扱っていないことにあります。「多くの企業がLLMを依然として『ブラックボックス』として扱い、確立されたアプリケーションセキュリティパイプラインに統合していません。」

チャウハン氏は「CISOはAIチャットボットを完全なアプリケーションとして扱うべきであり、単なるAIパイロットプロジェクトとして扱うべきではありません」と推奨しています。つまり、ウェブアプリケーションと同じセキュリティ基準を適用する必要があり、それによってAIの応答がコードを直接実行しないことを保証し、プロンプトインジェクション攻撃に対する特定のテストも実施する必要があると述べています。

AppOmniのルッツィ氏は、企業に対し「プロンプトエンジニアリング分野のベストプラクティスを常に把握し、AIによるプロンプト内容の解釈を制限し、AIのデータアクセスを監視・制御する追加のコントロールを実装する」ことを推奨しています。

Cybernewsの研究者は、AIチャットボットシステムを通じて流れるすべてのデータに対し、「決して信頼せず、常に検証する」というアプローチを取るよう企業に呼びかけました。

イノベーションとリスクのバランス

Lenovoの脆弱性は、企業が適切な保護策なしにAI技術を導入した場合に生じるセキュリティリスクを浮き彫りにしたと、チャウハン氏は強調します。彼は、AIシステムでは「リスクプロファイルが根本的に異なり、モデルが敵対的な入力に対して予測不能な反応を示す」と警告しました。

関連記事：企業のAIセキュリティ対策は甘すぎる

最近の業界データによると、自動化されたボットトラフィックが初めて人間によるトラフィックを上回り、2024年にはウェブ全体のトラフィックの51％を占めたとされています。脆弱性のカテゴリは、OWASPのLLM脆弱性トップ10リストに記載されたAI関連の一般的なセキュリティ懸念と一致しており、プロンプトインジェクションが最上位に挙げられています。

ルッツィ氏は「AIチャットボットは、データアクセスの設定ミスが簡単にデータ漏洩につながる、もう一つのSaaSアプリケーションと見なすことができる」と指摘しました。彼女は「セキュリティはこれまで以上に、あらゆるAI導入の不可欠な要素であるべきです。AI機能をできるだけ早く市場に投入するというプレッシャーがあるものの、適切なデータセキュリティを犠牲にしてはならない」と強調しました。

「Lenovoの事例は、プロンプトインジェクションやXSSが理論上の概念ではなく、実際の攻撃ベクトルであることを証明しています」とチャウハン氏は述べています。「企業は、AIによる迅速な投資回収と、セキュリティ侵害による評判や規制上の影響とを天秤にかけなければなりません。唯一持続可能な方法は、AIに対するセキュリティ・バイ・デザインです。」（jm）