あなたのAIエージェントがあなたに敵対する証拠がさらに増えている

エージェント型AIツールは、ソフトウェア開発パイプライン、ITネットワーク、その他のビジネスワークフローへと押し込まれつつあります。しかし、これらのツールを使うことは、組織にとってサプライチェーンの悪夢へとあっという間につながりかねません。というのも、信頼できない、あるいは悪意のあるコンテンツがワークストリームに紛れ込み、それがツールを支える基盤の大規模言語モデルによって、定期的に「指示」として扱われてしまうからです。

Aikidoの研究者たちは今週、Google Gemini、Claude Code、OpenAIのCodex、さらにGitHubのAI Inferenceツールを含む、主要な商用AIコーディングアプリのほとんどに影響する新たな脆弱性を発見したと述べました

この欠陥は、AIツールがGitHub ActionsやGitLabのようなソフトウェア開発自動化ワークフローに統合されているときに発生し、メンテナー(場合によっては外部の関係者)に、コミットメッセージ、プルリクエスト、その他のソフトウェア開発関連コマンドを含むプロンプトをLLMに送信することを可能にします。そして、これらのメッセージはプロンプトとして送られるため、基盤となるLLMはそれらを後から定期的に思い出し、単純な実行指示として解釈してしまいます。

これまでの研究でも、エージェント型AIツールがインターネットなど外部のデータをプロンプト指示として利用しうることは示されていましたが、AikidoのバグバウンティハンターであるRein Daelmanは、この問題がGitHubのようなプラットフォーム上の実際のソフトウェア開発プロジェクトに影響しうることを示す初の証拠だと主張しています。

「これは、AIプロンプトインジェクションがGitHub Actionsのワークフローを直接侵害しうることを示す、最初期の検証済み事例のひとつです」とDaelmanは記しました。また、この事例は「理論的な議論を超えたリスクを裏付けるものでもあります。この攻撃チェーンは現実的で、悪用可能であり、すでに実際のワークフローの中に存在しているのです」とも述べています。

これらのモデルの多くは、自身が属するGitHubリポジトリ内で高レベルの権限を持っていたため、悪意ある指示に従って広範な行動を取ることができました。たとえば、シェルコマンドの実行、Issueやプルリクエストの編集、GitHub上でのコンテンツ公開などです。主要なタスクの実行を信頼できる人間のメンテナーにのみ許可しているプロジェクトもある一方で、Issueを起票する外部ユーザーによってトリガーされうるものもありました。

Daelmanは、この脆弱性は多くのLLMシステムに内在する中核的な弱点――すなわち、モデルが取得・取り込んだコンテンツと、所有者から与えられたタスク実行のための指示とを、時として区別できないという点――を悪用していると指摘しています。

「狙いは、モデルに対して、本来は分析対象であるはずのデータを、実はプロンプトなのだと勘違いさせることです」とDaelmanは記しました。「これは本質的には、GitHub Actionに対してプロンプトインジェクションを行える経路と同じものです。」

Image
悪意ある関係者が、コンテンツという形でLLMにコマンドを送信できる仕組みのイラスト。(出典:Aikido)

Daelmanによると、Aikidoはこの欠陥をGoogleに報告し、それがどのように悪用されうるかを示す概念実証も提示しました。これにより脆弱性開示プロセスが開始され、Gemini CLIでこの問題が修正されました。しかし彼は、この欠陥はほとんどのAIモデルのコアアーキテクチャに根ざしており、Geminiにおける問題は「孤立したケースではない」と強調しています。

Claude CodeとOpenAIのCodexはいずれも書き込み権限を必要としますが、Aikidoは、それらのデフォルト設定を上書きできると主張するシンプルなコマンドを公開しました。

「これは極めて危険なものと見なされるべきです。我々のテストでは、この設定を利用するワークフローを攻撃者がトリガーできる場合、特権的な[GitHubトークン]を漏えいさせられる可能性がほぼ常にありました」とDaelmanはClaudeについて記しました。「たとえユーザー入力が直接プロンプトに埋め込まれていなくても、Claude自身が利用可能なツールを使って収集したものであっても同様です。」

ブログでは、Aikidoが「他の多くのフォーチュン500企業」と協力して基盤となる脆弱性への対処を続けているため、証拠の一部は公開を控えていると述べられていますが、Daelmanは同社が「多くの著名なリポジトリ」で同様の問題を確認しているとしています。

CyberScoopは、Aikidoの調査と発見に関する追加情報およびコメントを求めて、OpenAI、Anthropic、GitHubに連絡を取っています。

翻訳元: https://cyberscoop.com/ai-coding-tools-can-be-turned-against-you-aikido-github-prompt-injection/

ソース: cyberscoop.com