知能の幻想:「パフォーマティブ」AIの正体を暴く、エージェント型マルウェアの台頭

悪意のある者たちは既に人工知能を悪意あるソフトウェアの構造に織り込もうと尽力しているが、現在の実装は依然として極めて不安定である。ある事例では、ニューラルネットワークは単なる虚飾的な外装として機能し、騒々しく、全く無実質なログしか残さない。一方、別の事例では、具体的な命令を託されている:特定のアーキテクチャでペイロードを起動するかどうかを判断し、またはリスクを賢明に回避するかどうかを判断することである。Unit 42による最近の法医学的解剖は、これらの両極端を同時に見事に照らし出している。

研究者の先陣は、デジタルの公開領域と彼ら自身のテレメトリの両方を精査し、マルウェアの設計者が大規模言語モデルを積極的に兵器化していることを示す痕跡を探した。彼らの調査は3つの異なるパラダイムに基づいていた。最初のシナリオ:人工知能が建築家として機能し、有毒なコード自体を起草している。次のパラダイム:モデルが遠隔コマンドアンドコントロールにおける戦略的補助として機能し、本質的に後続の戦術的機動を指示している。第3に、最も深く恐ろしいシナリオ:悪意のある成物が支配されたアーキテクチャ上で戦略的判断を自律的にレンダリングし、外部の人間による調整が全くない。Unit 42によって収集された情報によると、これらのパラダイムの最初の2つは既に実際の標本に具体化しているが、完全に実現された、自律的なローカルエージェント論理はまだ野生で観察されていない。

しかし、彼らの全体的な推論は明確に厳しい。人工知能は、悪意のある者が運用標本を鍛造するのを支援する現代的能力を持っており、それにより以前は技術的無能によって制約されていた者たちのための参入障壁を急速に低下させている。しかし、真に自律的で、自立した悪意のある存在の出現は、遠い地平線のままである。設計者は依然として、モデルを成物に直接埋め込み、対象のアーキテクチャに配置し、プログラムの動作を真に調整させるのではなく、単に知能の幻想を生成させるという複雑な振付に深く苦労している。

最初のケーススタディは、.NETベースのinfostealer、C#で鍛造され、.NET Framework 4.0アーキテクチャの下で、その後ConfuserEx 2パッカーで覆われている。このような難読化は通常、法医学的解剖と検出を妨害するように設計されているが、主要な啓示は別の場所にある:成物はOpenAI GPT-3.5-TurboアーキテクチャをHTTP APIコールで能動的に請願している。理論的には、この仕掛けは悪意あるソフトウェアの最高の進化的飛躍として見える。支配されたプログラムが自律的に自分の環境を解読し、動的に回避戦略を鍛造し、その指揮官と深く洗練された談話に従事することを想像することができる。厳しい現実では、実行ははるかに平凡であることが判明した。

infostealer自体は、注目すべきことに、基本的に運用可能である。それはシステム情報を綿密に収穫し、ブラウザから暗号化クッキーを略奪し、ファイルの包括的な台帳をコンパイルし、この情報を指揮官への流出のために綿密にパッケージ化する。コード内のこの機能に隣接しているのは、AI駆動ロジックをマスカレードすることを表面的に設計された関数の群集である:回避技術の合成創造、環境偵察、データ転送の難読化、コマンドサーバー交通のための信頼できるミサイルの製造。まさにこれらのコンポーネントが法医学的先駆者が細心に解剖したものである。

この群集は4つの異なる関数で構成されている:GenerateEvasionTechnique()AnalyzeTargetEnvironment()GenerateObfuscatedCommunication()、およびSendToC2ServerWithLLM()。Unit 42の厳密な評価によれば、これらの関数のどれ一つも標本を実証的により危険または複雑にレンダリングしない。逆に、モデルに向けられた余分な尋問は、単に運用的ノイズを生成し、防御的哨兵の目を常に引き付ける可能性のあるビーコンとして機能する。呼び出しは実行され、応答は受け取られるが、功利的価値はほぼゼロである。

最初の関数、GenerateEvasionTechnique()は、GPT-3.5に、infostealer用に特別に作られた初歩的な回避戦略を生み出すよう懇願し、3語以下の簡潔な命名法を要求している。例示的な応答は「ランダムディレイ」、「プロセススプーフィング」、「メモリ難読化」を含む。インターフェースが応答に失敗した場合、成物は「ランダムディレイ」にデフォルトする。その後、最も目立つパフォーマティブな側面が展開される:この努力の成果は絶対に何も影響しない。取得した文字列は、犠牲者のデスクトップに預けられたvictim_logs.txt台帳に時系列タイムスタンプと共に単に書き込まれるだけである。この宣言を支持する実質的で実行可能な実装はゼロである。

まさにここで、建築全体の深い浅薄さが明らかにされる。そのような応答が本物の有用性を持つためには、設計者は、あらゆる想定可能な戦略に対する事前のカスタムハンドラーをコード化するか、または、その場で動的に実行可能なロジックに変換可能なモデルからのデータを請願するように強制されるだろう。理論的には、両方の軌跡は実行可能である。しかし、掘り起こされた標本内では、どちらのアプローチも明らかにされていない。関数は単に成物が検出を回避するためのその方法論を自律的に選択しているという幻想を生じさせるだけである。

次の関数、AnalyzeTargetEnvironment()は、わずかにより実用的な外観を投影するが、それは同様に運用現実を実質的に変更することに失敗している。モデルに送信される請願書は、オペレーティングシステムイテレーション、アーキテクチャフレームワーク、およびユーザー命名法を含む;その後、GPT-3.5には、ミリ秒で測定された遅延を示す、1,000から5,000の間の整数を返すよう命じられている。この特定の応答は本当に使用されている:プログラムは本当に1から5秒にわたる休止状態に入る。モデルが沈黙したままである場合、2秒のデフォルト休止が呼び出される。技術的には、これは運用的動作を構成しているが、その戦略的メリットは深く疑わしい。研究者は明確に、そのような統合は識別可能な、有意な有効性を生み出さず、より正確には、本当に秘密の楽器の鍛造における設計者の深い実践的知識の欠如を公開していると主張している。

第3の関数、GenerateObfuscatedCommunication()は、モデルにデータ転送の難読化のための初歩的な戦略を指名するよう懇願している。提供される例は「Base64エンコード」、「XOR暗号」、「JSONミニファイ」を含む。モデルの応答の後、成物は、技術の命名法、難読化されたタイムスタンプ、および通信が大規模言語モデルを介して「強化」されたことを表明しているフラグを含む初歩的なデータ構造を構築する。初期検査時に、提案された方法論がネットワークトラフィックに本当に適用されると推測する可能性がある。しかし、厳密なコード解剖により、研究者はこの主張を裏付ける実装を絶対に掘り出さなかった。技術の命名法はコンソールとJSONレジャーに単に反響されるだけで、実際のデータ送信は約束された難読化から完全に奪われている。

生成されたログは、パフォーマティブな性質においてだけ啓発的である。コンソールはOpenAIインターフェースへの成功した結合を宣言する声明で浸水され、GPT-3.5-turboの初期化、回避生成、環境分析、通信難読化、社会工学、動的適応、インテリジェント難読化、機械学習の成功した実行、および表面的に積極的なメカニズムの広がる詞表全体。最終的な銘刻は、大規模言語モデルの統合が「完全に運用可能である」と宣言している。しかし、これらの能力の圧倒的多数は、ログのテキスト構造内にのみ存在する。彼らは根本的で実行可能なコードから完全に奪われている。

第4の関数、SendToC2ServerWithLLM()は、略奪されたインテリジェンスの指揮官への流出に不可分に関連している。ここで、成物はモデルに、ネットワークトラフィックをおそらくより合法的に見せるために、簡潔で、専門的に調子のミサイルを製造するよう懇願している。GPT-3.5は、無菌で、官僚的なフレーズを提供し、プログラムはその後これをX-Message HTTPヘッダ内に埋め込み、同時に要求にX-LLM-Enhanced: trueという文字列でフラグを立てる。ペイロード自体はhxxp[:]//localhost:3002/crypto-dataに向けてJSON形式で発送される。研究者は敏感に観察しており、このコマンドサーバー座標でさえ、デフォルトのプレースホルダーとして構成されており、標本がローカル実験に限定されているか、本来は運動操作の準備が整わなかった初期的なビルドを構成することを強くほのめかしている。

この特定の関数は、それが単なる台帳エントリではなく実際のアクションを引き起こすため、モデルの本物の利用への最も近い近似を表している。機能的なサーバー座標を置き換えた場合、標本はデータを成功させることができる。しかし、そのようなシナリオにおいてさえ、人工知能の介入は実質的な強化をほぼもたらさない。補助的なHTTPヘッダーは通信導管の有効性を強化しない、また、彼らは物質的な戦術的優越性を付与しない。彼らは単にモデルが利用されたという単純な事実を強調するために役立つ。その結果、研究者はこのアプローチを、人工知能をめぐる演劇的スペクタクルとしてより特性化し、真正に功利的な工学的ブレークスルーではなく。

基本的には、このNET infostealerの目的論は完全に正統的である:ブラウザとホストシステムから機密テレメトリを略奪し、その後それを指揮官に流出させることである。大規模言語モデルに結合されたアーキテクチャレイヤーは、動的適応、検出回避、およびコマンドサーバーとのより洗練された談話を統治することを表面的に想定されていた。法医学的解剖は、正確な反意義を明らかにしている:AI駆動コンポーネントのほぼ全体は装飾的な外皮として機能し、複雑な複雑さの幻想を生じさせながら、本物の機能を絶対にゼロ貢献している。Unit 42は、そのような標本が人工知能の援助で著述されたか、または単に既に親しみのあるアーキテクチャにファッショナブルなコンポーネントをグラフト化しようと求めた深い専門知識を欠いた個人によってまとめられた可能性があることを認める。

次の標本は深く魅惑的であり、モデルは審美的なポスチャリングのためではなく、最優先の重要性を持つ問題を裁定するために利用されている:ペイロードの起動である。これはGoベースのローダーを含み、Sliverのドロッパーとして機能し、Sliverは対戦相手エミュレーションと赤いチーム操作に利用される開源フレームワークである。ペイロードの展開に先立ち、プログラムはシステム情報を集約し、その主権プロセス命名法および親プロセスのそれを含む。その後、ドロッパーはDonutシェルコードを解読するが、それは意図的に実行の開始前にためらう。その主要な命令は、現代の環境が容認できない危険を呈しているかどうかを確認することである。

この監査を実行するために、悪意のある成物は包括的なシステム電子書を編集する。それはホスト命名法、積極的なプロセスの台帳、ネットワークテレメトリ、結合されたUSBストレージボリュームに関する情報、およびマシンの継続的な運用稼働時間を収穫する。このデータの富は、その後、請願書内に埋め込まれ、HTTP APIコールを介してGPT-4に発送される。モデルは、本質的に、判定の負担を信頼されている:それは集約されたテレメトリを評価し、この特定のホストにSliverを預け、起動することが安全であるかどうかについての明確な判定を発行する必要がある。

習慣的には、悪意あるソフトウェア内のそのような環境監査は遥かに大きな単純さと剛性で実行される。建築家は先制的に発動的に法的化し、禁止され許容される指標の台帳を編集し、サンドボックス、仮想マシン、法医学的分析道具、および敵対的環境のマーカーを識別するために必要な論理を埋め込む。このパラダイムはランサムウェアと多くの他の悪意のある系統内で深く親しみ深い。この特定のドロッパーの場合、論理は外部化されている:剛性法典に依存する代わりに、判定は言語モデルに委任される。防御の先駆者にとって、これは寒気を走る進化を表しており、成物が逃げようと試みているものを正確に解読するのが指数関数的に難しくなり、プロセスまたは構成の何らかの特定の混合がそれを中止するように強制するかが難しくなる。

まさにこのパラダイムは、研究者が本当に魅惑的と見なしているものである。モデルは遠く離れて常駐しており、絶対的な自律性の宣言が時期尚早のままであることを意味している。しかし、基本的な哲学は、厳密に明白である:マルウェアの建築家は、単に大規模言語モデルからテキストを受け取ることを求めているのではなく、運用環境の重大な分析と進行を許可する最終的な認可をそれと一緒に置く。正統的なパラダイムでは、この正確な目標は剛性にハードコードされた許可リストと禁止リストを通じて達成される。モデルの利用は、システム指標のはるかに大きな多様性を合成する可能性を導入し、環境の感染適合性に関する深く正確な判定を引き出す。この軌跡における避けられない後続の進化は、ホスト特性の複雑な行列に基づいて安全でない環境を区別するために精密に訓練された、小型化された言語モデルまたはコンパクト機械学習分類器のローカル配置である可能性がある。

このバックドロップに対抗して、AI強化マルウェアの現代景観は、実験、初期的なビルド、および初期的で調和した努力の混沌とした混合物として明らかである。NET infostealerは、大規模言語モデルの深く浅い、そして究極的に無用な利用を例示する。逆に、Sliverドロッパーは、モデルが運動的な行動を実行するかどうかの存在論的決定に積極的に参加する本質的にはるかに実質的なパラダイムを照らし出している。研究者は強調して、この現在の時間帯で、生成モデルがこれらの特定の標本の実際の著述で利用されたかどうかを明確に証明することは不可能であることを強調している。しかし、この可能性の単なる存在は深く警報をならしており、人工知能は、はるかに少ない精巧な悪意のある者のための参入障壁を急速に低下させる能力を持っている。

この時点から前方への軌跡は、Unit 42の予想によれば、エスカレートする複雑性に向けて避けられないことを指す。小型化されたモデルのローカル配置が増々摩擦がなくなるにつれて、本質的に埋め込まれたAI能力を搭載した悪意のある標本の出現は事実上の確実性である。これは、コードの合成創造と、特定の運用環境への深く機敏な動的適応に最も鋭く適用される。そのような悪意のあるアーキテクチャは、はるかに大きな敏捷性で運用行動をピボットし、前例のない有効性で検出を回避し、動的に彼らの有毒な目標を実行するための最も壊滅的に有利な方法論をリアルタイムで選択する能力を所有している。

悪意あるソフトウェア内での人工知能の増殖する統合は、単に論理の複雑さの増加において明らかなのではなく、同時に新生機能の加速された創造、ならびに標本自体の運用弾力性の深い増幅において。換言すれば、危険は、運動的行動の説明に付加されたパッシブ・バズワード以上に拡張している。真の存在上の脅威は、悪意のある者の兵器庫が前例のない速度で反復し、恐ろしい安定性で機能し、特定の防御的姿勢に対する彼らの獲物への寒気の精度で適応する可能性があるという現実にある。これは、これらの初期的な実験が最も目をそむけない、容赦ない綿密な調査を要求する理由である:失敗した努力でさえ、デジタル脅威の恐ろしい波の危険な軌跡を照らし出す、厳しい前兆として役立つ。

翻訳元: https://meterpreter.org/the-illusion-of-sapience-unmasking-the-performative-ai-and-the-rise-of-agentic-malware/

ソース: meterpreter.org