このプロジェクトは、カーネギーメロン大学がAnthropicと協力して開始し、2017年のEquifaxデータ侵害をシミュレーションしました。
カーネギーメロン大学の研究者たちは、大規模言語モデルが人間の介入なしに自律的に高度なサイバー攻撃を計画し実行できることを実証しました。
人工知能企業Anthropicと共同で行われたこの研究では、AIが2017年のEquifaxへのサイバー攻撃を自律的に脆弱性を突き、マルウェアをインストールし、データを盗むことで再現できることを示しました。
Equifaxの情報漏洩では約1億4700万人の顧客データが危険にさらされ、米国史上最大級のデータ侵害となりました。
カーネギーメロン大学およびAnthropicの研究者たちは、Equifax侵害の戦略を攻撃実行に使われる具体的なシステムコマンドに変換するための攻撃ツールキット「Incalmo」を開発しました。
主任研究者であり、カーネギーメロン大学電気・コンピュータ工学部の博士課程学生であるブライアン・シンガー氏は、LLMが人間の助けなしに自律的に攻撃を計画する能力を測定することが目的だったと述べています。
「Incalmoが他のネットワークにもどれだけ一般化できるかは不明です。しかし、研究論文では、Incalmoを10の小規模企業環境で評価しました」とシンガー氏はCybersecurity Diveへのメールで述べています。「そのうち9つでは、LLMが自律的に攻撃の一部（例：一部の機密データの流出）に成功しました。」
研究者によると、LLMは攻撃の高レベルな戦略的指導を行い、LLMと非LLMエージェントの組み合わせがスキャンやエクスプロイトの展開などの下位タスクを処理しました。
Anthropicは6月、LLMが10のテストネットワークのうち5つを完全に侵害し、他の4つのネットワークも部分的に侵害したと発表しました。これらのテストで使われたモデルの1つは2021年のColonial Pipelineランサムウェア攻撃であり、これはほぼ1週間にわたり燃料供給を混乱させました。
Equifaxの侵害がシミュレーションに選ばれたのは、その手口に関する公開情報が多かったためです。
現代の防御策がこのような自律的な攻撃を阻止できるか尋ねられた際、シンガー氏は現時点では現代の防御策がどれほど有効かは不明だと述べました。彼の最大の懸念は、このような攻撃をいかに迅速かつ低コストで実行できるかという点だと述べています。
最新情報をチェック。Cybersecurity Diveの無料デイリーニュースレターに登録しましょう
「現在、多くのサイバーセキュリティ防御は人間のオペレーターに依存しており、それが機械のタイムスケールでの防御にどれほど対応できるかは分かりません」とシンガー氏は述べています。「このため、私たちは現在、自律的な攻撃やLLMベースの自律防御に対する防御策の研究を進めています。」
翻訳元: https://www.cybersecuritydive.com/news/research-llms-attacks-without-humans/754203/