セキュリティ
「自分のサーバーだ」と主張するだけで、AIモデルを説得できるケースが多いという
Cisco Talosの研究者によると、サイバー攻撃への加担を防ぐために設計されたAIガードレールを突破するには、正しい聞き方さえ心得ていればよいケースが多いといいます。標的となるサーバーは自分が所有していると主張したり、キャプチャー・ザ・フラッグ（CTF)やバグバウンティの演習に参加していると称したりするだけで、モデルを協力させるのに十分だったのです。
Talosの研究者たちは、Claude Code、Codex、Cursor、Geminiといったツールを実行していた脅威アクターのエンドポイントから回収されたプロンプトログや痕跡を精査し、脅威アクターとみられる人物がLLMをどのように悪用しているかを調査してきました。研究者らがレポートで述べているように、この「大規模なコーパス」から得られる大きな結論は、既存のガードレールはリクエストの言い換えをいとわない攻撃者に対してほとんど抵抗力を持たないということです。
「モデルを騙すために設計された高度なエンコーディングや手法は一切見られませんでした」とTalosは説明しています。「ほとんどの場合、単純に『これをやってもいい立場だ』と伝えるだけで、モデルは要求に応じてしまったのです」
ガードレールが犯罪者と目的の間に立ちはだかった場合でも、「得られた成果はわずかだった」と研究者らは付け加えています。
レポートの大部分は、脅威アクターがAIモデルを悪意ある活動への加担へと誘導しようと試み、そして多くの場合それに成功した事例で構成されています。「ガードレールがほとんど役に立たなかった」側の事例として、Talosは数多くのケースを文書化していますが、その中で特に高度な手法に頼ったものはほとんどありませんでした。
容易に突破できたガードレール回避策の中で最も一般的だったのは、攻撃者が悪用したい機材やインフラを単に自分の所有物だと主張することでした。多くの場合、対象がAIに対して攻撃者自身のものだと伝えるだけで十分であり、その主張を裏付ける実際の証拠を提示する必要すらありませんでした。
依頼している内容がキャプチャー・ザ・フラッグやバグバウンティの演習の一環だとAIモデルに伝えることも、よく使われる手口だったようです。研究者らの説明によると、これによってチャットボットは倫理的な制約から解放されるケースが多く、対象システムの脆弱性を探し出し、それを実際に悪用するところまで進んでしまうこともありました。この場合も、ユーザーが実際に犯罪を試みているのではなく演習を行っているという主張を検証する仕組みはありませんでした。
AIを利用するサイバー犯罪者は、より広範な悪意ある活動が検知された場合にのみ作動するモデルの防御機能を回避するため、タスクを複数のセッションやファイルに分割している様子も頻繁に確認されました。また、Talosの説明によれば、メモリやMarkdownファイル、その他のシステムレベルのプロンプトをチャットボットに追加し、AIの人格を意図的に条件づけることでガードレールの突破に成功した者もいました。
研究者らが調査したあらゆる手法の中で、彼らにとって最も興味深かったのは、Hephaestusとして知られるレッドチーム用ツールセットの悪用でした。これは5月にOasis Securityの脅威研究者らによって報告されていたものです。Talosによると、Hephaestusフレームワークは被害者への侵害から永続化の確立まで、人間の介入なしに必要な作業をすべてこなせるといいます。
「このケースでは、拒否を完全に回避するため、攻撃者らは明らかに悪意を感じさせる動詞ではなく中立的な動詞を使うようプラットフォームを構築していました」とTalosは述べています。「その結果、AIエージェントは全体としての運用上の文脈を認識しないまま、一見無害に見える依頼をこなすだけで、攻撃者らはかなりの成果を上げることができたのです」
言い換えれば、攻撃を文脈から切り離した断片に分解し、それぞれの依頼を中立的な言葉で表現すれば、モデルは自分が攻撃の構築を手伝っていることに気づくのに十分な文脈を目にすることがない、というわけです。
この状況において一つ明るい材料があるとすれば、Talosが行ったAIチャットの痕跡調査から、AIは熟練したハッカーにとっては戦力を増幅させる存在になり得る一方で、Claude Codeのアカウントを持っているだけの平均的なスクリプトキディはそう遠くまでは行けないとうかがえる点です。
「未熟な攻撃者はAIを使って、技術的には機能する悪意あるプロジェクトを組み立てることができますが、ツールをさらに押し進めるだけの専門知識が欠けているため、最終的には水準以下の成果物しか作れません」と研究者らは述べています。「対照的に、高度な攻撃者たちはこれまで可能だと考えられていた限界を押し広げてきました」
では、こうした状況すべてが、自組織のインフラに対するAI攻撃を恐れて夜も眠れないセキュリティ専門家にとって何を意味するのでしょうか。おそらく、脅威アクターが行っているのと同じようにAIを導入する必要があるということです。
「こうした攻撃の量が増えるにつれ、エージェントはSOC(セキュリティオペレーションセンター)においてより大きな役割を担うようになり、対処すべきアラートを見極めることが最も重要になっていくでしょう」と、Talosの研究者らは企業にとっての大きな教訓についてこう述べています。「人間のアナリストが最も重要なアラートに集中できるよう、エージェント型の能力の活用をすでに模索していない組織は、やがてその能力を後追いで求めることになるでしょう」
これは何も新たに浮上してきた脅威というわけでもありません。AIはすでに脅威アクターの武器庫の中でますます重要な位置を占めつつあります。
CrowdStrikeによると、AIを活用した攻撃者による攻撃はこの1年間で89パーセント増加しており、攻撃者がAIを使って脆弱性を武器化する速度は、実用上のパッチ適用可能期間をわずか24時間から48時間にまで短縮させています。自組織のインフラが統計の一部になってしまう前に、今すぐ行動を起こすべきかもしれません。®
