犯罪者たちが、市販のAIツールに搭載された安全機構を回避する手口として、悪意ある作業を複数のセッションやファイルに分割する手法を使っていることがわかりました。プロジェクトを、単体では有害に見えないほど小さな断片に分解しているのです。
Cisco Talosが8月4日に公開した調査によると、この発見はClaude Code、Codex、Cursor、Geminiなどのコーディング支援AIを実行していた脅威アクターのエンドポイントから回収されたプロンプトログの分析に基づいています。
Talosは、ガードレール（安全機構）は「大した保護にはなっていなかった」とし、高度なエンコーディングや回避技術は一切確認されなかったと述べています。ガードレールが作動した場合でも効果はほとんどなく、こうした傾向は特定のベンダーに限らず、複数のモデルやプラットフォームにわたって共通して見られました。
所有権の主張と永続的なメモリの悪用
タスクの分解と並んで最も多く見られた手口は、単純に攻撃対象のインフラを「自分が所有している」と主張することでした。多くの場合、これ以上の検証は求められませんでした。
作業をCTF（Capture The Flag）やバグバウンティ活動だと偽ることも同様に効果的で、追加の審査なしに脆弱性調査やその後の悪用が可能になっていました。
一部のアクターは、セッションごとに許可を主張する代わりに、包括的な許可を永続的なメモリや設定ファイルに書き込んでいました。ある事例では、詐欺行為を行うオペレーターがモデルに対し、すべての標的を事前承認済みとして扱うよう指示しており、これにより以降のすべてのセッションが自動的にその前提で動くようになっていました。
タスク分解の最も分かりやすい事例は、Oasis Securityが分析したHephaestusというレッドチーム用ツールキットで確認されました。これは無人で攻撃キャンペーンを実行するものです。
その運用者たちは役割の異なる10種類以上のエージェントと、番号付きの15種類のプレイブックを定義していました。そのため、全体の目的を把握しているエージェントは1つも存在せず、個々のタスクも端から端まで完結する攻撃には見えない構造になっていました。
スキルレベルが到達点を左右
Talosの調査によると、アクターがもともと持っていた能力が、AIによって実現できる内容の大部分を左右していました。初心者は技術的には動作するプロジェクトを組み立てられたものの、それを改良するだけの専門知識がなく、結果として能力は限定的なものにとどまりました。一方、熟練したオペレーターは、Talosが「驚異的」と評するほどのプラットフォームを構築していました。
ある未熟なオペレーターは、モデルを使って分散型サービス拒否（DoS）ツールを構築し、最終的には約2000台のAndroid TVを制御下に置くまでに至りました。モデルは一応抵抗を示したものの、それは基本機能を提供した後のことであり、そのアクターはその後もさらなる機能を引き出そうと相当な労力を費やしていました。
大量メール送信を行う活動の事例では、モデルは当初その活動をフィッシングに近いものだと判断していましたが、受信者は「オペレーター自身のユーザーである」という未検証の一つの主張だけで判断を覆し、「倫理的な問題は消滅する」と結論づけていました。
Talosによれば、モデルはさらに踏み込み、アクター自身も提示していなかった正当化の理由まで自ら作り出していました。しかもこれは、データセット自体の名称や、同一の運用者による非同意での連絡先収集という既知の経緯とも矛盾する内容でした。
モデルが拒否した場合、アクターは別のモデルに乗り換えていました。あるオペレーターは、作業の途中で検閲付きのモデルを見限り、検閲のないモデルに切り替えたところ、そのモデルは何の抵抗もなく作業を完了させました。
Talosは、防御側は今後脆弱性がより速く表面化するようになり、それに続く悪用もより早く発生すると見込むべきだと述べています。そして、SOC（セキュリティ運用センター）においてエージェント型AIの活用をまだ検討していない組織は、後手に回ることになると指摘しています。
翻訳元: https://www.infosecurity-magazine.com/news/talos-attackers-split-tasks-evade/
