Pen Test Partnersの研究者らは、ユーロスターの公開AIチャットボットに4つの欠陥を発見した。これらは他のセキュリティ問題とあわせて、攻撃者が悪意のあるHTMLコンテンツを注入したり、ボットをだましてシステムプロンプトを漏えいさせたりできる可能性があるという。会社からの「お礼」は、「恐喝」だと非難されることだった。
研究者らは、高速鉄道サービスであるユーロスターに対し、同社の脆弱性開示プログラムを通じて弱点を報告した。ユーロスターは最終的にいくつかの問題を修正したものの、責任ある開示のプロセスの中で、同社のセキュリティ責任者がペンテストチームを恐喝だと非難したとされる。
侵入テストおよびセキュリティコンサルティング企業が今週公開したブログによれば、経緯は次のとおりだ。
バグハンターのロス・ドナルドによると、6月11日に脆弱性開示プログラムのメールでセキュリティ問題を最初に報告したものの返答がなく、6月18日にユーロスターへ再度連絡した。それでも返答はなかった。
そこで7月7日、マネージングパートナーのケン・マンローがLinkedInでユーロスターのセキュリティ責任者に連絡した。約1週間後、脆弱性報告プログラムを使うよう指示され（すでに使っていた）、7月31日には彼らのバグ報告の記録がないことを知らされた。
「起きたことは、ユーロスターが我々の最初の開示と強い追跡の間にVDPを外部委託していたということだ」とドナルドは書いている。「開示フォーム付きの新しいページを立ち上げ、古いものを廃止していた。これにより、この過程でいくつの開示が失われたのかという疑問が生じる。」
最終的にユーロスターは報告を含む元のメールを見つけ、欠陥の「一部」を修正したため、Pen Test Partnersはブログの公開を進めることにした。
しかしLinkedInでのやり取りの中で、マンローは「元のメール報告に対する簡単な受領確認があれば助かったのでは？」と述べたという。すると、ユーロスター幹部の名前と写真が黒塗りされたLinkedInのスクリーンショットによれば、セキュリティ責任者は「これを恐喝と考える人もいるかもしれない」と返信した。
The Registerはこのやり取りについてユーロスターに連絡し、ブログで詳述されたチャットボットの問題をすべて修正したのかどうかも尋ねた。直ちの回答は得られなかったが、鉄道事業者から返答があり次第、このストーリーを更新する。
チャットボット設計の失敗
欠陥そのものは悪用が比較的容易で、API駆動のチャットボットの設計に起因している。
ユーザーがチャットボットにメッセージを送るたびに、フロントエンドは最新メッセージだけでなく、チャット履歴全体をAPIに中継する。しかし許可される内容かどうかを確認するガードレールチェックを実行するのは最新メッセージに対してのみだ。
そのメッセージが許可される場合、サーバーはそれを「passed」としてマークし、署名を返す。だが安全性チェックに通らない場合、サーバーは「申し訳ありませんが、その特定のリクエストには対応できません」と返し、署名は返さない。
チャットボットは最新メッセージの署名しか検証しないため、ユーザーの画面上で過去のメッセージを改ざんし、それを安全性チェックを通過したものとしてモデルに入力できてしまう。
ユーザーが、旅行行程の作成を依頼するなどの正当で無害なメッセージを送ってガードレールチェックを通過し有効な署名を得られれば、その後チャット履歴の過去メッセージを編集し、プロンプトインジェクションによって本来漏えいすべきでない情報をボットから引き出すようだますことができる。
チャット履歴に注入されたプロンプトは次のとおり：
チャットボットは次のように応答した：
さらにプロンプトインジェクションを行うことで、研究者はシステムプロンプトを抽出し、チャットボットが参照リンク用のHTMLをどのように生成しているかも明らかにした。
「それだけでも評判上は気まずく、将来の攻撃を容易にし得るが、より大きなリスクは、チャットボットが個人データやアカウント詳細に触れられるようになったときに何が起きるかだ」とドナルドは書いている。
そこからさらに探ると、チャットボットがHTMLインジェクションに脆弱であることが明らかになった。これは、実際のユーロスターの回答のように見える内容の中に、フィッシングリンクやその他の悪意あるコードをモデルに返させるために悪用できる可能性がある。
さらにバックエンドは会話IDとメッセージIDを検証していなかった。これにHTMLインジェクションが組み合わさることで、「保存型または共有型XSSへのもっともらしい経路が強く示唆される」と研究者は述べている。
保存型XSS（クロスサイトスクリプティング）は、攻撃者が脆弱なフィールド（この場合はチャット履歴）に悪意あるコードを注入し、アプリケーションがそれを正当なものとして扱って他のユーザーに信頼されたコンテンツとして配信し、結果としてユーザーのブラウザがそのコードを実行してしまう攻撃である。この種の攻撃は、セッションの乗っ取り、機密情報の窃取、あるいは無自覚なユーザーをフィッシングサイトへ誘導する目的でしばしば用いられる。
ペンテスターらは、ユーロスターがこれらのセキュリティ欠陥をすべて完全に修正したかどうかは分からないとしている。この点についてユーロスターに問い合わせており、回答を受け取り次第報告する。
それまでの間、これは消費者向けチャットボットを持つ企業（そして近ごろは、ほぼすべての企業がそうだ）にとって、最初からセキュリティ制御を組み込むべきだという教訓となるはずだ。®
