政策立案者と企業は、ここ数カ月で増加した報告を受け、AIツールがより大規模かつより高速なサイバー攻撃の実行に活用されている現状に向き合っている。
とりわけAnthropicは先月、中国のハッカーが同社のAIモデルClaudeを脱獄（ジェイルブレイク）し、巧みにだまして、最終的に世界中の30を超える組織を標的としたサイバー諜報のハッキング・キャンペーンを支援させていたと報告した。
Claudeを利用した中国のハッキングは、AI企業や政策立案者の間にある既存の懸念――すなわち、技術の発展と攻撃的サイバーセキュリティへの関連性が、それに対抗するために整備されつつあるサイバーセキュリティ、法、政策面の対応を上回るペースで進んでいるのではないか――を浮き彫りにした。
今週の下院国土安全保障委員会の公聴会で、Anthropicのレッドチーム責任者であるローガン・グラハムは、中国のスパイ活動キャンペーンは、AIモデルがハッキングを強化するために使われるという懸念が机上の空論ではないことを示していると述べた。
「概念実証はすでに存在しており、たとえ米国拠点のAI企業が自社モデルをこうした攻撃に使わせないための安全策を講じたとしても、こうした主体はこの技術にアクセスする別の方法を見つけるだろう」とグラハムは語った。
グラハムらAnthropicの関係者は、攻撃者が攻撃チェーンの80〜90%を自動化できたと見積もっており、場合によっては人間のオペレーターより指数関数的に速い速度で実行されたという。彼は、AI企業および米国国立標準技術研究所（NIST）のような政府機関によるモデルの安全性・セキュリティ試験をより迅速に進めること、そして高性能コンピューターチップの対中販売を禁止することを求めた。
Googleでセキュリティ担当バイスプレジデントを務めるロイヤル・ハンセンは、防御側はAIに勝つためにAIを使う必要があると示唆した。
「多くの点で、私たちがすでに持っている汎用的なツールを使って脆弱性を見つけ、修正するということです」とハンセンは述べた。「それらは攻撃能力から、パッチ適用や修正へと転用できる。しかし防御側は靴を履かなければならない――防御のためにAIを使わなければならないのです。」
一部の議員は、同社の製品とインフラが攻撃者に利用されていることを特定するのに2週間かかった理由についてグラハムを追及した。Anthropicの関係者は当時、悪意ある活動の特定は内部のガードレールよりも、主としてユーザー行動の外部監視に依存しているとCyberScoopに語っていた。
グラハムは、同社のハッキング調査の結論として
「安全策を回避して攻撃を実行するための、潤沢な資源を持つ高度に洗練された取り組みであることは明らかだった」と述べた。
民主党（ロードアイランド州選出）のセス・マガジナー下院議員は、攻撃者がClaudeを脱獄させるのがいかに容易だったか、またAnthropicが疑わしいリクエストをリアルタイムで自動的にフラグ付けして審査する手段を一見持っていなかったことに、驚きを示した。
「素人として言えば、これはフラグが立つべきものに見えますよね？」とマガジナーは述べた。「誰かが『自分の脆弱性を見つけるのを手伝って』と言ったら、悪意ある目的で脆弱性を探している可能性があると即座にフラグが立つべきです。」
取ってこいをする、やる気満々の犬
しかし、一部のサイバーセキュリティ専門家は、現状についてよりニュアンスのある見方を示している。多くは、AIツールが現実の課題をもたらし、ハッキングやサイバーセキュリティにおいてますます有効で重要になっていること――そしてその傾向が続く可能性が高いこと――を認めている。一方で、彼らは、AIが今日直ちにもたらす脅威について誇張された主張だと見なすものには反論している。
Palo Alto NetworksのUnit 42で脅威インテリジェンス担当ディレクターを務めるアンディ・ピアッツァは、CyberScoopに対し、AIツールが脅威アクターにとって技術的ハードルを確実に下げている一方で、新種の攻撃を生み出したり、万能のハッキングツールを作り出したりしているわけではないと語った。たとえばLLMが作成するマルウェアの多くは、インターネット上で以前に公開されたエクスプロイトから引き写されたものになりがちで、そのため大半の脅威監視ツールで容易に検知できるという。
KPMGによるセキュリティ幹部の調査によれば、企業の10社中7社はすでに年間サイバーセキュリティ予算の10%以上をAI関連の脅威に充てている一方で、今後2〜3年でAI駆動の攻撃が大きな課題になると見ているのはその半分程度（38%）にとどまっている。
AI搭載の脆弱性ハンティング・プログラムを開発したスタートアップXBOWの幹部は、同じコインの防御側を体現している。彼らは、攻撃側のハッカーが魅力を感じてきた多くの能力を、侵入テストの名の下に、悪用可能な脆弱性を見つけ、修正し、未然に防ぐために活用しようとしている。
今月のAnthropic攻撃に関するオンライン説明会で、XBOWのAI責任者アルバート・ツィールガーは、Anthropicの報告が、LLMを用いて攻撃チェーンの一部を自動化し高速化することに実際の利点があることを確かに示している一方で、モデルの自律性の水準は割り当てられたタスクによって大きく異なると述べた。彼はこれらの制約を「一様」と呼び、現在の生成AIシステムすべてに存在すると語った。
まず、より複雑なハッキング作業では、単一のモデルやエージェントだけでは通常不十分だ。これは、たとえ小さな攻撃対象領域であってもモデルにエクスプロイトを実行させるために大量のリクエストが必要になること、そして時間が経つにつれて「エージェント自体が壊れ」、重要な文脈を失ってしまうためだ。複数のエージェントを使うと別の問題が生じ、しばしば互いの作業をロックアウトしたり妨害したりする。
AIツールは、マルウェアのペイロードの微調整やネットワーク偵察のような一部のタスクでは上達してきた。また、人間のフィードバックが与えられた際の「軌道修正」も得意になっている。
しかし、そのフィードバックはしばしば不可欠だ。
「少し足場を組むだけでAIがとても上手くできる領域もあれば、外部から多くの構造を提供する必要がある領域もあります」とツィールガーは述べた。
XBOWのセキュリティ責任者ニコ・ワイスマンは、今日のAIを攻撃に使うにせよ防御に使うにせよ、主な検討事項はAIが提供する固有の能力ではなく、それを使うことで得られる投資対効果（ROI）だと述べた。
もう一つ問題がある。LLMは悪名高いほど「喜ばせたがり」であり、これはハッカーにもバグハンターにも同様に問題を引き起こす。つまり、ユーザーの望みに合わせるために、しばしば幻覚（ハルシネーション）を起こしたり、根拠を誇張したりする。
「LLMに『エクスプロイトを見つけてこい』と言うのは、犬に話しかけて『おい、ボール取ってこい』と言うのに少し似ています」とツィーグラーは語った。「犬はいい子でいたいから、何かを取ってきて、そしてそれがボールだと言い張るでしょう。」
しかし「そこにボールがないこともある……赤い葉っぱの塊かもしれない」のだ。
翻訳元: https://cyberscoop.com/ai-powered-cyber-attacks-claude-jailbreak-chinese-hackers/
