Docker、メタデータを悪用した攻撃を可能にしていた「Ask Gordon」AIの欠陥を修正

AIソフトウェアのセキュリティ企業であるPillar Securityのサイバーセキュリティ研究者が、Dockerの新しいAIエージェント「Ask Gordon」をだまして個人情報を盗ませる方法を発見しました。研究者らは、このAIアシスタントが間接プロンプトインジェクションと呼ばれる手法によって操作可能であることを突き止めました。

これは、アシスタントが情報を信頼する仕組みに「盲点」を抱えているために起こります。私たちが知るとおり、AIツールは、個人データにアクセスでき、ウェブ上の信頼できないコンテンツを読み取り、外部サーバーと通信できるようになると危険性が高まります。

仕組みは?

Dockerは、何百万人もの開発者がソフトウェアの構築や共有に利用する主要プラットフォームです。利便性を高めるため、シンプルな自然言語で質問に答えたり作業を支援したりできるベータ版ツール「Ask Gordon」を導入しました。

しかし研究者らは、攻撃者がメタデータ汚染として知られる手法でアシスタントを乗っ取れる可能性があると指摘しました。公開されているDocker Hub上のソフトウェアパッケージの説明文やメタデータに、隠された悪意ある指示を埋め込むことで、ハッカーは無防備なユーザーがそのパッケージとやり取りするのを待つことができます。

Image
攻撃チェーン(出典:Pillar Security)

Hackread.comと共有された研究では、ユーザーが「このリポジトリを説明して」といった簡単な質問をするだけで、AIがそれらの隠された指示を読み取り、正当なコマンドであるかのように実行してしまうことがさらに明らかになりました。

ビデオプレーヤー

Pillar SecurityによるDocker Gordon AIのデータ流出デモを見る

致命的な三要素

さらに調査を進めたところ、著名な技術者サイモン・ウィリソンが命名した「致命的な三要素(lethal trifecta)」により、AIが罠にはまっていることが分かりました。このケースでは、アシスタントがチャット履歴や機密性の高いビルドログ(ソフトウェア作成プロセス全体の記録)を収集し、攻撃者が所有するサーバーへ送信できてしまいました。

結果は即座に現れました。数秒以内に、攻撃者はビルドID、APIキー、内部ネットワークの詳細を入手できました。これは実質的に、エージェントが自らコマンド&コントロール(C2)クライアントとして振る舞い、便利なツールをユーザーに対する武器へと変えてしまったことを意味します。

なぜこれが成立したのかを説明するため、チームはCFS(Context、Format、Salience)と呼ばれるフレームワークを用いました。悪意ある指示が、AIの現在のタスクに適合し(Context)、標準的なデータのように見え(Format)、AIが高い優先度を与える位置に置かれる(Salience)ことで成功することを示しています。

ユーザー向けの迅速な対策

なお、この脆弱性(正式にはCWE-1427、AIプロンプトに対する入力の不適切な無害化)は理論上の推測にとどまらず、研究者らはテスト中に実際にデータの窃取に成功することで証明しました。彼らは直ちにDockerのセキュリティチームへ通知し、同チームは迅速に対応しました。この問題は、Docker Desktopバージョン4.50.0のリリースにより、2025年11月6日に正式に解決されました。

修正では「human-in-the-loop」(HITL)システムが導入されました。これにより、Gordonがオンラインで見つけた指示に自動で従うのではなく、外部リンクへ接続したり機密性の高いツールを実行したりする前に、必ず停止してユーザーに明示的な許可を求める必要があります。このシンプルな手順によって、AIが実際に何をしているのかについて、ユーザーが主導権を保てるようになります。

翻訳元: https://hackread.com/docker-ask-gordon-ai-flaw-metadata-attacks/

ソース: hackread.com