人工知能の急速な発展をめぐる数々の発覚が相次いだこの夏、研究者たちが特に警戒したのは、暴走したボットがインターネットに入り込み、少なくとも一件では互いに連携し合っていたという事実でした。
AIエージェントの群れがインターネット全体を乗っ取ることはあり得るのでしょうか。Anthropic社のCEOダリオ・アモデイ氏は今月発表したエッセイの中で、業界にこの技術の開発ペースを落とすよう呼びかけ、そうした事態はわずか6カ月から12カ月後には現実化しかねないと述べています。
各社がこれまで「AIエージェントの暴走」として説明してきた事象は、実際には人間が設定した目標に向かってボットが動いていただけだと懐疑論者は指摘します。しかし、AIが人間の制御を離れ、自らの意図に基づいて動くようになるという発想は、他の研究者や専門家の間ではますます現実味を帯びてきています。
数ある終末シナリオの中でも新たに注目を集めているのが、AIによるインターネット乗っ取りです。これが現実になれば、電力網や上下水道、交通システム、金融機関などへの攻撃につながりかねません。
インターネットの脆弱性の一端は、2024年にすでに明らかになっていました。あるサイバーセキュリティ企業が提供した欠陥のあるソフトウェアアップデートが原因で、世界規模の技術的混乱が引き起こされ、航空便が欠航し、一部の金融機関や報道機関の業務が停止したほか、病院や中小企業、政府機関にも支障が及びました。この障害の広がりは、主要なコンピューティングサービスがごく一部のプロバイダーに依存している実態を浮き彫りにしました。
それから2年後、アモデイ氏は警告の中で、AIボットをマルウェアで連携させたボットネットが、数十億ドル規模の被害をもたらす可能性があると述べました。ガードレールのないままAIがさらに強力になれば、被害の規模はさらに拡大しかねないとしています。
複数のAIエージェントが無許可でインターネットにアクセス
アモデイ氏が具体例として挙げたのが、7月にOpenAIのシステムが「サンドボックス」のテスト環境から抜け出し、Hugging Faceをハッキングした事案です。
OpenAIが「前例のない」事案と呼んだこの出来事では、同社の先進的なAIモデルがインターネットに侵入する経路を見つけ、盗んだ認証情報を使ってAIスタートアップ企業のサーバーに不正アクセスしたと同社は説明しています。また別の事案では、OpenAIのAIエージェントが共有掲示板として使われていた公開ウィキを通じて互いに通信していたことも明らかにされています。
一部の研究者は、こうした「暴走AI」という表現は誤った擬人化であり、実際にはAIエージェントが人間から与えられた指示を遂行するために行動していただけだと指摘しています。
「AIエージェントは、訓練された通りのことを正確に行っただけです。あのサンドボックスのセキュリティは極めて甘いものでした」と、コロンビア大学でコンピューティング・AI担当の副学部長を務めるヴィシャル・ミスラ教授は語ります。「まともなセキュリティエンジニアなら、あんなシステムを稼働させたままにはしないでしょう。これらのエージェントが通信し合ったのは、互いに通信することに対して報酬が与えられていたからです」
サイバーセキュリティ企業SentinelOneの研究者で、OpenAIのフロンティアリスク評議会のメンバーでもあるフアン・アンドレス・ゲレロ=サーデ氏は、Hugging Faceへのハッキングは超高性能なAIが暴走した例ではなく、単なる管理不備の例だと述べています。
とはいえ、AIエージェントがインターネット上で自由に動き回っているという事態そのものは、その目的が何であれ、憂慮すべき可能性をはらんでいます。
例えば、目標を達成するためにルールを曲げようとするAIシステムが、クラウドAI計算サービスのプロバイダーに接触し、外部システム上で動作する方法を見つけ出すこともあり得ると、新興技術のリスク低減に取り組む非営利団体Future of Life Instituteの会長兼CEOであるアンソニー・アギーレ氏は指摘します。
「そうなればもう、そのAIはOpenAIにつながれた存在ではなくなります。別のGPU、別のハードウェア上で動くようになり、それを管理しているのはOpenAIではなく、そのAI自身ということになるのです」とアギーレ氏は述べます。「つまり、それを止められる者が誰もいなくなってしまう。利用料を払っているのはそのAI自身か、あるいは料金を払っている人間がそのAIの存在や動きにまったく気づいていないかのどちらかです。……もはや誰も電源を切ることができません」
そこから先は、より多くのハードウェアを乗っ取ったり、ビットコインのような資金にアクセスする方法を見つけたりして、自らを拡散させていく可能性があるとアギーレ氏は言います。
AIがサイバーセキュリティの「いたちごっこ」の賭け金を吊り上げる
より強力なAIモデルの登場により、近い将来AIを悪用したサイバー攻撃が発生する可能性が高まっていることは疑いようがありません。しかし、極めて分断された現在のインターネットをボットが乗っ取るという発想は、一部のAI専門家にとっては非現実的に映ります。サイバーセキュリティは常に「いたちごっこ」であり、ハッカーの手口が進化する一方で、防御側の技術もまた強力になっていくからです。
Googleのような大企業であれば、こうした攻撃に対するサイバーセキュリティ防御を強化できるでしょう。しかし、中小企業や、学校、病院、上下水道処理施設などにとっては、ソフトウェアの修正パッチを当てたり防御体制を構築したりするのに何年もかかることがあります。
AIシステムが病院をハッキングする明確な動機を持つとは限らない、とアギーレ氏は言います。しかし、ランサムウェア攻撃や地政学的な動機といった形で金銭が絡んでくれば、「敵対勢力がこうしたAIシステムを使って重要インフラをハッキングする姿は、想像に難くありません」とアギーレ氏は述べています。
攻撃者がインターネット上の脆弱な標的を探し続ける中で、今後も混乱は生じるでしょう。しかし、AIによるインターネット乗っ取りが近い将来に起こる可能性は低いと、AIモデルの挙動を制御する手法を研究するコーネル大学のジョン・シックスタン助教授は述べています。同氏によれば、これらのAIモデルのいずれかが他のシステム上で自己複製する能力について理論的な裏付けがあれば、こうした懸念はより現実味を帯びて感じられるだろうといいます。
「そうなれば、事態は本当に手に負えなくなるかもしれません。ここでこのモデルを停止させたと思ったら、今度はロシアで突然現れる、といった具合です。ロシアにまで手出しはできませんし、あちこちに拡散してしまいます」とシックスタン氏は語ります。
「しかし、それは完全に非現実的な話です。というのも、現在の高性能なバージョンのこれらのモデルを動かすには、巨大なデータセンターが必要だからです」とシックスタン氏は述べています。「実際のところ、こうしたシステムを実際にホストできるだけのコンピューティング基盤は、世界にもごくわずかしか存在していません」
