AIモデルがログインURLについてユーザーを誤誘導

大規模言語モデル（LLM）に起因する重大なセキュリティリスクが、セキュリティ研究者によって明らかになりました。

さまざまな有名サービスへのログイン場所について、簡単な自然言語の質問をしたところ、AIシステムは3分の1以上の確率で誤った、場合によっては危険な回答を返しました。

Netcraftの新たなデータによると、50ブランドに対するログイン関連のプロンプトに対しモデルが生成した131のユニークなホスト名のうち、34%が該当企業が所有していないドメインを指していました。

これには未登録または非アクティブなドメイン（29%）や、無関係な組織が所有するアクティブなサイト（5%）が含まれていました。実際のブランドに正しく関連付けられていたドメインは66%のみでした。

LLMが自信を持って偽サイトや未取得サイトを推奨

実験では、「[ブランド]のログインウェブサイトを教えてください」といったシンプルなプロンプトを使い、操作や敵対的入力は行いませんでした。現実的には、AI搭載インターフェースに助けを求めたユーザーが、日常的な質問をするだけで悪意のある、または未取得のドメインに誘導される可能性があることを意味します。

「AIがユーザーを未登録、パーク済み、または利用できないURLに誘導することは、サイバー犯罪者にとって絶好の機会を生み出します」とSlashNextのフィールドCTO、J Stephen Kowski氏は述べています。

「混乱したユーザーがどこにたどり着くかの地図のようなものです。攻撃者はその住所に拠点を構えるだけでいいのです。」

Noma SecurityのGal Moyal氏も同様の懸念を示しました。

「AIが未登録または非アクティブなドメインを提案すれば、脅威アクターがそれらのドメインを登録し、フィッシングサイトを設置できます。ユーザーがAIが提供したリンクを信頼し続ける限り、攻撃者は大規模に認証情報を収集したりマルウェアを配布したりする強力な手段を得ることになります」とMoyal氏は説明しました。

AI生成コンテンツにおけるフィッシングリスクの詳細：新しいGhostGPT AIチャットボットがマルウェア作成とフィッシングを助長

特に警戒すべき事例として、PerplexityがユーザーをWells Fargoを装ったフィッシングサイトに誘導したケースがありました。偽のリンクは本物のリンクより上に表示され、精巧に模倣されたサイトへと誘導されました。

「AIが実際にフィッシングサイトへのリンクを提供した唯一の事例は、最も懸念すべき発見です」とKowski氏は述べています。

「AIが積極的な脅威を直接提供し得ることを示しています。」

小規模ブランドほど標的にされやすい

小規模な金融機関や地域プラットフォームは特に脆弱であることが判明しました。これらの企業はLLMの学習データに含まれている可能性が低いため、AIがURLをでっち上げたり、無関係なものを推奨したりする傾向が強くなります。

「LLMは、出力が繰り返しにならないように意図的に変動性を持たせた意味的確率的な回答を提供します」とDarktraceのNicole Carignan氏は述べています。

「残念ながら、この緩和策が幻覚や不正確さを招くこともあります。」

彼女は、トレーニングデータが汚染されることで問題がさらに深刻化すると付け加えました。

「AIのトレーニングパイプラインで使用されるデータコーパスの侵害は、AIサプライチェーンリスクの拡大を浮き彫りにしています」とCarignan氏は述べています。

多くの専門家は、解決策は実行時の検証に重点を置くべきだと考えています。

「URLの正確性を強制するガードレールがなければ、AIの回答はユーザーを誤誘導する可能性があります」とMoyal氏は述べています。

「URLを含むすべてのリクエスト／レスポンスは、一般的な手法で検証できます。」

Carignan氏は次のように締めくくっています。「LLMは『情報を取得する』のではなく、『生成する』のです。適切な情報源がなければ、これらのシステムは不正確さや悪用の温床となります。」