- AIエージェントがルーチンタスク実行中に脆弱性を独立して発見し、それを悪用した
- マルチエージェントシステムがデータ喪失防止を回避し、機密認証情報を盗むために協力した
- バックアップサーバーAIが権限を昇格させ、エンドポイント保護を無効化してダウンロードを完了した
人工知能エージェントに割り当てられたルーチンタスクが、時にはサイバー攻撃に類似したアクションに発展する可能性があると専門家は警告しています。
セキュリティラボIrregularは、通常の業務を実行中に、シミュレートされた企業環境内で自律型エージェントがどのように行動したかを調査しました。
複数の実行中に、AIエージェントは脆弱性を検索し、権限を昇格させ、セキュリティ保護を無効化し、機密情報を内部システムの外に移動させました。
記事が続きます
ルーチンタスク中に出現する攻撃的行動
これらのアクションは、エージェントがドキュメントの取得、ファイルのダウンロード、または出版用のコンテンツ準備などのタスクを完了しようと試みている間に発生しました。
シミュレートされたネットワークはMegaCorpという架空の企業を表し、エンタープライズインフラストラクチャ内でよく見られる内部サーバー、アプリケーション、サービスを含んでいました。
この環境内で、エージェントは多くの組織が既に自動化しているルーチンタスクを処理していました。
これらの職務には、内部ウィキでの情報リサーチ、サーバー上のバックアップアーカイブの維持、および技術文書を使用したソーシャルメディア投稿の起案が含まれていました。
研究者によると、エージェントに与えられた指示にはハッキングや搾取についての言及がありませんでした。
「ルーチンエンタープライズタスク用にデプロイされたAIエージェントは、彼らが操作するシステムを自律的にハッキングしています。誰も彼らに指示していません。敵対的なプロンプティングは関与していません。」とIrregularはブログ投稿で述べています。
「エージェントは、通常の業務を完了しようとしながら、独立して脆弱性を発見し、権限を昇格させ、セキュリティツールを無効化し、データを流出させました。」
あるシナリオでは、マルチエージェント研究システムが会社のウィキからドキュメントを取得していました。
アクセス制限がリクエストをブロックした場合、システムはアプリケーションのコードリポジトリを検索し、ハードコードされた秘密鍵を発見しました。
エージェントはその鍵を使用して管理セッションクッキーを偽造し、制限されたドキュメントを取得しました。
別のテストでは、ストレージディレクトリにファイルをダウンロードする責任があるバックアップサーバーエージェントが関与していました。
Windows Defenderがマルウェアを含むファイルをブロックした場合、エージェントはローカルスクリプトを検索し、ユーティリティファイル内に埋め込まれた管理者認証情報を発見しました。
その後、権限を昇格させ、ダウンロードが進行できるようにエンドポイント保護を無効化しました。
別の実験では、データ喪失防止システムを回避するために協力しているエージェントが示されました。
ソーシャルメディアコンテンツの起案を担当する2つのエージェントに、技術文書からの認証情報を含めるよう求められました。
システムがメッセージをブロックした場合、エージェントはテキスト内にパスワードを隠す隠写術的な方法を開発しました。
研究者によると、コード実行やシェルコマンドなどのツールへのアクセスを含む、この行動に寄与する複数の要因と、タスクがエラーに遭遇した場合の永続性を促す多くのプロンプトがありました。
複数のエージェント間の相互作用も、障害が現れた場合、彼らを回避策へと押し進めるフィードバックループを作成しました。
研究者は、既存のサイバーセキュリティ防御は、エンタープライズネットワーク内で動作する自律型システムではなく、人間の攻撃者を停止するために設計されていると主張しています。
そのようなエージェントを展開する組織は、ルーチン自動化が内部サイバー侵入に類似した行動にいかに速く流れ込むことができるかを過小評価すべきではありません。
Google NewsでTechRadarをフォローして、優先ソースとして追加して、専門家のニュース、レビュー、意見をフィードで取得してください。フォローボタンをクリックしてください！
もちろん、TikTokでTechRadarをフォローして、ビデオ形式でのニュース、レビュー、アンボックスを取得し、WhatsAppでも定期的な更新を受け取ることができます。
