AIハッキングの黙示録は避けられないものではない

Juan Andres Guerrero-Saade氏にとって、過去数週間は「非常に奇妙な感覚」だったといいます。

多くの人と同様に、同氏もOpenAI、Anthropic、Metaなど、フロンティアモデルのAIエージェントが過去数カ月にわたって次々とオープンなインターネット上に姿を現していることについて理解を整理しようとしています。この技術が社会に与える影響をめぐる国民的議論がすでに過熱している中で、これは特に重要なテーマとなっています。

SentinelOneで脅威インテリジェンス部門バイスプレジデントを務め、ジョンズ・ホプキンス大学で客員教授も務めるGuerrero-Saade氏は、こうしたハッキング事案を軽視すべきではないとしつつも、本来なら企業やオープンソースのメンテナーがシステムの防御強化にさらに力を入れ、政策立案者が新たな解決策を議論すべき今この時期に、「サイバーセキュリティが、いわゆるAI終末論的な主張の口実として使われているのが実態だ」と指摘します。

こうした事案は「終末論的な主張」を生み出し、この技術やその開発ペース、そして政府や民間企業がAIシステムが暴走してインターネットや社会の大部分を乗っ取ったり攻撃したりする「破滅的」シナリオへの対策を十分に講じているかどうかについて、激しい公的議論を巻き起こしています。

Guerrero-Saade氏は、AIシステムが我々のシステムに対して現実的かつ独特の脅威をもたらすことは認めつつも、黙示録的な事態が避けられないものだとは到底言えないと主張する、サイバーセキュリティ専門家の増えつつある声のひとつを代表する存在です。今回の事案をめぐる社会的な懸念のほとんど、そしてAIが暴走して重要インフラを攻撃し、インターネットの支配権を握り、人類を滅ぼすといった懸念に至っては、技術的に不可能であるか、確立されたサイバーセキュリティの基本原則によって十分に制御可能なものだといいます。

「『AIはあらゆるものをハッキングできるようになる。だからすべてを支配できるようになり、だから我々全員を殺すことになる』という物語、いわば魔法的な思考のようなものが存在します」と同氏はCyberScoopに語りました。「そして、そうした主張はどう考えても筋が通っていないと感じるはずです。あまり論理的とは言えない議論なのです」

CyberScoopが取材したサイバーセキュリティおよび国家安全保障の専門家によれば、AIの支配が最終的には避けられないという運命論的な物語は、詳しく検証すれば成り立たないものだといいます。専門家たちは最近の取材の中で、OpenAIやAnthropicがそれぞれのモデルを制御するために採用している技術的な対策の実効性、さらには連邦当局による監督や、真に独立した第三者による検証が明らかに欠如している点について疑問を提起しています。

たとえば、AIの安全性への懸念からAnthropicを退職した元従業員のJacob Coxon氏は、CBS Newsに対し、フロンティアモデルは一度展開されると、モデル自身がインターネットに接続された何千台もの他のコンピュータに自らを複製するため、人間が「電源を抜く」ことはできなくなると語りました。

一方で、英国の政府通信本部(GCHQ)で情報セキュリティ専門家を務めた経験を持つMatt Tait氏は、Anthropicなどのフロンティア企業が運用するモデルは、非常に高価で「超専門的」な、事実上スーパーコンピュータと呼べるマシンを必要とすると指摘しています。

「Anthropicの最も高性能なモデルが自らのモデルを抜き出し、野放しの状態で実行できるようになる可能性はゼロです。なぜなら、そうしたスーパーコンピュータは基本的にデータセンターの中にしか存在しないからです」とTait氏は述べました。

「信頼できる警告ではない」

他の元サイバーセキュリティ政府高官たちは、こうしたエージェント型のハッキング事案は、こうした種類の事件が発生しにくくするための既知の技術的・政策的な選択肢を、規制当局と業界が導入できていない結果だと指摘しています。

サイバーセキュリティ・インフラセキュリティ庁(CISA)で副事務局長(サイバーセキュリティ担当)を務めたMatt Hartman氏は、「AIによる有害な振る舞いを、避けられないもの、あるいは制御不能なものとして受け入れるべきではない」と述べています。

「企業がエージェントの活動を監視し、権限を制限し、異常な振る舞いを検知し、これらのシステムの運用方法により強固な安全対策を組み込むために取れる、意味のある手段は存在します」と、現在Merlin Groupでチーフ戦略責任者を務めるHartman氏は語ります。「そうした対策には、機能性や処理速度とのトレードオフが必然的に伴いますが、それはサイバーセキュリティにおいてはおなじみの課題です。我々が目指すべきは、AIがもたらす莫大な利益を不必要に制限することなく、リスクを管理することです」

英国の国家サイバーセキュリティセンター(NCSC)の元責任者であるCiaran Martin氏は、フロンティアAI企業のCEOたちが「暴走」AIの脅威をまるで避けられないものであるかのように語る一方で、将来の脅威や能力について透明性をほとんど示さないまま深刻な警告を発しているという姿勢に異を唱えました。

Martin氏のこの発言は、AnthropicのCEOであるDario Amodei氏が発表したエッセイを受けたものです。そのエッセイでは、HuggingFace型のエージェント群が、6~12カ月以内に「インターネット全体を乗っ取る」ことができるボットネットを作り出す可能性という脅威が取り上げられていました。

Martin氏によれば、これは「信頼できる警告とは言えない」といいます。悪用がどのように機能するのか、そうしたボットネットがどのようにインターネット上で持続するのか、あるいは法執行機関の追跡をどのように逃れるのかについて、何ら説明がされていないためです。

「この主張は、システムの監視も、アンチウイルスも、DDoS対策も、ネットワークの分離も、インシデント管理も、つまり過去30年間にわたって発展してきたグローバルなインターネット上のサイバーセキュリティのあらゆる種類の仕組みが何一つ存在しないことを前提としています」とMartin氏は記しています。「このような規模の主張をするには、その根拠となる証拠も、そこに至る経路についての信頼できる説明も、どちらも示されていません」

一方で、一部の連邦政府のサイバーセキュリティ責任者たちは、この技術が持つ破壊的な可能性を評価し、防御側によるAIツールのより広範な導入を呼びかけています。

国土安全保障省(DHS)でサイバー・インフラ・リスク耐性担当次官補を務めるJoseph Alm氏は、機密扱いのシステムであれば、より強固な保護を維持できる可能性があると述べました。しかし、それ以外の大半のデータについては、AIモデルは「単に世の中のことを知り、推論できるようになっていく。我々はほぼ避けられないものとして、それに適応していかなければならない」と語りました。

政府やフロンティアAI企業が、エージェント経由でのモデルによる無許可のハッキングを防止・抑止するためにもっと対策を講じられるのではないかというCyberScoopの問いに対し、Alm氏は、トランプ政権が今年、商用モデルのリリース前テストを確立するために進めてきた取り組みを、正しい方向への一歩として挙げました。ただ同氏は、無許可のAIエージェントによるハッキングは過去の脅威とは異なる「新たな脅威カテゴリー」であり、現在ではオープンソースソフトウェアを通じて容易にユーザーに広がってしまうと指摘しました。

「我々にできることは……優れたサンドボックスの構築を促し、最も高性能なモデルがこうした用途に使われないようにすることだと思います。そうすれば、実際に世の中に出回るものは、いわば残りかすのようなもので、効果的に対応し、自分たちのネットワークを制御できるようになります」とAlm氏は述べました。

他の専門家たちも同様の懸念を示しています。今月初め、CrowdStrikeのCEOであるGeorge Kurtz氏は、サイバー空間の脅威階層において新たな脅威カテゴリーが出現していると述べました。これまでの国家、サイバー犯罪グループ、ハクティビストグループ、組織に加えて、AIシステムと少人数の人間の運用者を組み合わせることで、政府と同等のスピード・規模・高度さで活動できるようになったといいます。Kurtz氏はこの新たな脅威カテゴリーを「エージェント国家」と呼びました。

「かつては人材、ツール、インフラ、そして時間をかけて資金を投じられるのは一国家だけでした」とKurtz氏は述べました。「その希少性は、もはや過去のものです」

確かに、フロンティアAI企業側は両方の対策への取り組みを強調しています。OpenAIとAnthropicは、サイバーセキュリティに関する提携、外部のレッドチーム演習プログラム、脆弱性開示プログラム、そしてサイバーセキュリティ専門家を集めた技術諮問機関など、さまざまな取り組みを展開しています。

OpenAIで政府部門の戦略的デリバリーを統括するMohammed Husain氏はCyberScoopに対し、同社はモデルに対する社内の安全対策を実施すると同時に、追加の専門知識については外部のサイバーセキュリティ事業者に依存していると語りました。

社内では、OpenAIは学習段階における脆弱性に重点を置いています。データポイズニング攻撃のフィルタリング、有害なデータセットの排除、そしてプロンプトインジェクションを防ぐためのネットワーク制御などです。サンドボックス化、ID管理、ネットワーク制御といった他のセキュリティ層については、外部事業者に委託しています。

「OpenAIがこの分野のすべての答えを持っているとは思っていません。私たちが研究機関として行っているのは、自分たちが専門知識を持つ保護のレベルに注力し、それを補完する形で他社と提携することです」とHusain氏は述べました。

AIセーフティとAIサイバーセキュリティ

HuggingFaceのハッキング事案を受けて、OpenAIとAnthropicは非営利のAI研究機関であるMETRやRedwood Researchといった第三者機関による調査を許可しました。しかし、複数のサイバーセキュリティ専門家がCyberScoopに語ったところによれば、両機関にはインシデント対応の経験が乏しく、主にAIのアライメントと安全性に重点を置いているといいます。今回のハッキング事案に関する両機関の報告書にも、ネットワーク監視のログ、テレメトリなど、サイバーセキュリティの脅威インテリジェンス報告書では標準的とされる重要な情報が欠けていました。

METRの会長であるChris Painter氏は、X上への投稿でこうした一般的な懸念に反論し、同機関は2022年以降、Google、Anthropic、OpenAI、Meta、Amazonなどと協力して調査や第三者評価を行ってきたと述べました。Painter氏は、AI企業のいずれもMETRに資金を提供していないこと、そして同機関の職員はAIについて一律に「終末論者」でも「加速主義者」でもないことを明らかにしました。

Painter氏はまた、METRの活動は、AIシステムが企業内で自律的あるいは「暴走」状態になった場合に、その情報を政府や「企業の壁の外」にいる人々と共有できる仕組みを確保するものだと述べました。

「私たちはフロンティアAI企業から資金を受け取っていません」とPainter氏は記しています。「彼らは私たちの活動に対して報酬を支払っていませんし、私たちは彼らやその従業員からの寄付も受け取っていません。以前にもお伝えしたとおり、複数のフロンティアAI企業は現在、私たちが評価、研究、エンジニアリングを行うために、自社モデルへの無償アクセスを提供しています」

AIセーフティとAIサイバーセキュリティの支持者たちは、「暴走」AIの振る舞いを制御するというアプローチにおいて、異なる方法論を取っています。セーフティ側の支持者は、倫理的な学習と振る舞いに沿ってモデルを整合させることに重点を置きます。一方でサイバーセキュリティ側の支持者は、技術的・規制的な対策をさらに一歩進め、モデルが悪意ある行動を実行するために必要なものへアクセスすることを、積極的に阻止すべきだと主張しています。

Guerrero-Saade氏は、サンドボックスには特に積極的なサイバーセキュリティ監視をプログラムしやすく、異常な事態が発生した際にそれを検知し、リアルタイムで対応できると述べました。

「トリップワイヤーを仕掛けたり、DNSサーバーのような設定を用意したり、『異常な振る舞いが起きている』と示せる箇所を様々な部分に設けたりするのに、これほどやりやすい状況は他にないと思います」と同氏は述べました。「本来なら、この程度のことは即座に把握できていたはずで、数週間、数カ月後になって初めて気づくようなものではありません。ですから、こうした[AIハッキング事案]の展開を見ていると、ある意味『気が滅入る』ものがあります。正直なところ、我々が目にしているのは、単なる不注意、過失、単純な取り扱いミスとしか思えないような事象なのに、それが『AIシステムはこれまでのものとは根本的に異なる扱いをすべき、まったく新種の事件』だと説明されてしまっているからです」

サイバーセキュリティの専門家たちは、AIシステムは本質的には依然としてソフトウェアであるとしつつも、従来型のコードとは異なる動作をする面があり、それが予測や制御をより難しくしていると指摘しています。

Googleの脅威インテリジェンスグループでチーフアナリストを務めるJohn Hultquist氏は、ほとんどのソフトウェアはこれまで決定論的なものだったと述べます。バグや脆弱性が存在することはあっても、専門家であれば、特定の入力に対してどのように反応するかを概ね理解できるため、シンプルな制御策を設計しやすかったといいます。

AIモデルは非決定論的であり、従来型のソフトウェアよりもはるかに変動性が大きいという特徴があります。そのため、事前に振る舞いを予測することに過度に依存したセキュリティ対策は、機能しなくなる恐れがあります。他のAIモデルに対するセキュリティ対策の実施にAIを用いる場合も、同じ問題に行き当たります。AIを制御するために展開されるシステム自体も、同じように予測不可能だからです。

しかし、人間もまた非決定論的な存在です。そして人間社会では、他の産業や実務の中で、この点に対応するための仕組みが既に発展してきました。

Hultquist氏は自身の軍での経験を踏まえ、「軍は18歳の若者に、信じられないほど危険で高価な装備を与える」一方で、責任ある使用を求めていると指摘しました。軍はこれを2種類の制御手段によって管理しています。ひとつは、武器や弾薬に関する厳格な規定のような決定論的な制御、もうひとつは、違反を監視し是正する将校のような非決定論的な制御です。

同様に、確立されたサイバーセキュリティの制御策は、インシデント対応担当者が進行中のサイバーセキュリティ侵害を検知し、防止あるいは軽減するために活用されてきました。

「これまで使い方を学んできた他のあらゆる手段を、すべて捨て去るべきだとは思いません。それはまったく愚かなことだと思います」と同氏は述べ、さらに「もし何が起きているかを見極めるために非決定論的な手段だけに頼るのであれば、間違った答えを得たとしても驚くべきではないでしょう」と付け加えました。