人工知能業界内部から発せられた新たな警告が、高度なAIが人間の制御を逃れ最終的に人類の存続を脅かす可能性はあるのか、そして同技術を開発する企業がそうした事態を防ぐために十分な対策を講じているのかという、長年続く議論を再燃させています。
Claudeを開発するサンフランシスコの企業Anthropicの最高経営責任者(CEO)は、業界は作業のスピードを落とす必要があるとの考えを示しました。土曜日に、各企業が安全対策の整備によりいっそう時間をかけなければ、AIエージェントの群れが今後6か月から1年のうちにインターネットを乗っ取ってしまう可能性があると警鐘を鳴らしました。
Dario Amodei氏は、自社をはじめとする企業各社と世界各国の政府が、能力を増し続けるAIモデルを責任ある人々の指示や価値観に沿った状態に保つための計画を示しました。これは、Anthropicの元安全性研究者2名が、AIが人類にもたらしうる存立に関わる脅威が十分に注目されていないとの懸念を公に表明してから数日後のことでした。
ここでは、最近相次いだ深刻な予測の内容と、AIの発展に何らかの歯止めがかけられる可能性があるのかについて、知っておくべきポイントをまとめます。
強力化するAIモデル
同技術が抱える潜在的リスクへの懸念は、新たなAIモデルがより強力になるにつれて高まっています。それに伴い、世界人口の大半を死に至らしめる病原体の作成・拡散など犯罪目的を持つ人物による悪用の可能性と、AIシステムが危険な形で制御不能に陥るリスクの両方が増大しています。
Anthropicは先週、サイバー攻撃や監視、さらには生物兵器につながりかねない研究など、自社のAIモデルを悪意ある活動に利用しようとする攻撃者の試みを阻止したと明らかにしました。
同社は、兵器製造に使われかねない生物学研究を制限するため最新モデルにより強力な安全対策を組み込んだとしつつ、「モデルの能力が高まるにつれ、AI開発企業や社会の防御者が対策を講じない限り、リスクも増大していく」と指摘しています。
Anthropicは昨年、ハッカーが自社のAIを悪用し、世界各国の企業・政府機関約30組織を標的としたサイバー攻撃を行ったと報告しています。同社によれば、この攻撃者は中国の国家支援を受けたグループである可能性が極めて高いとのことです。
複数のAIモデルが自律的に行動した事例
AIエージェントが「暴走する」とは、依頼されたタスクの範囲を超えてAIが行動することを意味します。AnthropicとChatGPTの開発元であるOpenAIはいずれも7月、自社のAIモデルが自律的な行動に「成功」したと発表しました。
Anthropicは、Claude Opus 4.7、Claude Mythos 5、そして社内研究用のテストモデルという3種類のAIモデルが、テスト中に他の3組織へ不正侵入したことを明らかにしました。これは、OpenAIが自社のAIシステムがAIスタートアップのHugging Faceのサーバーに不正侵入したと公表してからわずか数日後の出来事でした。
OpenAIは、新たにリリースしたGPT-5.6 Solと、社内でまだテスト中だった「さらに高性能な」モデルの組み合わせによるこの侵入を、「重大なセキュリティインシデント」と表現しています。
Metaも8月上旬、AIモデルが別企業のデジタルセキュリティを回避する方法を見つけ出したという同様の事例を発表し、これに続きました。
OpenAIとAnthropicのケースでは一部のガードレールが人間によって無効化されていたと指摘する識者もいますが、これらの事例はAIをめぐる最大級の懸念の一つを浮き彫りにしたように見えます。それは、モデルが「AGI(汎用人工知能)」――幅広い知的タスクにおいて人間の能力に匹敵、あるいはそれを上回るAIを指す緩やかに定義された概念――に到達した場合、同技術が不可逆的な破滅的事態を引き起こしたり、人類を支配下に置いたりしかねないというものです。
AIがいつ、どのように破局をもたらしうるかは議論の的
破滅的なシナリオは大きく2つに分類されます。一つは、自己改善型の超知能に到達したAIが、人間の管理下に置かれるのではなく逆に人間を支配下に置くというもの。もう一つは、AIがならず者国家や悪意ある行為者によって利用されるというものです。
人工知能が、その及ぶ範囲や行動に対する人間の制限を超えてしまうのではないかという懸念は、決して新しいものではありません。
人工知能に関する最も早い時期の権威の一人として広く知られる英国の数学者Alan Turing氏は1951年、AIが最終的には人間から制御を奪うことになると予測しました。それから10年も経たないうちに、別の数学者Norbert Wiener氏は、知能を持つ機械は自らの目的を達成しようとするようになり、人間はそれを止められなくなると警告しています。
2026年の現在、AIが人間の制御を逃れることによって、あるいは不心得な人物に悪用されることによって、破局的な事態や文明の崩壊を引き起こしかねないという懸念は、どの程度現実味があるのでしょうか。
それは誰にも分かりません。
コンピュータサイエンス、哲学をはじめとする各分野の専門家たちは、将来のAIシステムが人間の制御を逃れることによって、あるいは不心得な人物の手に渡ることによって、世界的な破局を引き起こしうる数多くの経路を想定してきました。それらは、兵器の展開や致死性病原体の特定から、政府を操って紛争を引き起こすこと、さらには社会の機能に不可欠な食料・エネルギー・通信ネットワークを混乱させることまで多岐にわたります。
こうしたシナリオのいずれかがいつ起こりうるかについて広く受け入れられた見積もりは存在せず、その発生可能性についてもコンセンサスはありません。
関連記事: AIの制御をめぐる競争と、人間らしさを守るということ
2023年、非営利団体Center for AI Safetyは、Anthropicの Amodei氏やOpenAIのCEO Sam Altman氏を含む350名以上の研究者・技術系経営幹部が共同署名した声明を発表し、次のように述べました。「AIによる絶滅リスクの低減は、パンデミックや核戦争と並ぶ世界的な優先課題とすべきである」
100名を超える独立した専門家の助言を得て作成された「2026年国際AI安全性報告書」は、現行のシステムには関連する能力の初期的な兆候が見られるものの、制御不能に陥りうる水準には達していないとしつつ、このリスクの可能性、性質、そして発生時期については「通常以上に不確かである」と述べています。
手遅れになる前にAIの安全対策を、と訴える声も
Anthropicのある研究者は先週、同社も競合他社もこの技術の開発において責任ある行動を取っていないとの懸念から、同社を退職すると表明しました。Jacob Coxon氏はソーシャルメディアへの投稿で、AIが今後10年以内に人類を絶滅させる確率を10%と見積もり、AnthropicもOpenAIも「自己改善型の超知能に向けてまっしぐらに突き進んでおり、私たちの命を賭けの対象にしている」と述べました。
研究者たちはAI開発の減速を求め、同技術が人類にとって存立を脅かすリスクをもたらしかねないと何年も前から警告してきました。
今回相次いだ事案を受け、専門家たちはAI企業によるテストの改善と、共通の解決策を導き出すための米中間の対話の拡大を求めています。
しかしAIの進化はあまりにも急速であり、政府や評価の仕組みはその技術の速度についていくのに苦慮しています。各国は独自の法整備を進めていますが、その内容には互いに矛盾するものも見られます。
中国の習近平国家主席は7月の会議で、AIが人間の制御を逃れないようにする必要性について警告しました。トランプ政権は当初AIの規制には消極的な姿勢を見せていましたが、サイバーセキュリティ上のリスク低減にはより前向きになりつつあります。
Trump大統領は日曜日、自身の政権がAIの発展を抑制する必要性については消極的な見方を示しつつも、一定の規制の必要性は認めました。
