人工知能の研究者たちは長年にわたり、この技術が人類を絶滅させかねない方法について警鐘を鳴らしてきました。AIボットが手に負えない疫病を作り出す、核戦争を引き起こす、あるいはある思考実験にあるように地球全体をペーパークリップ工場に変えてしまう、といった具合です。
AI業界内外では、こうした破滅シナリオの現実味をめぐる議論が、複数の経営幹部が安全性を理由に技術開発の減速を支持したことをきっかけに過熱しています。
人間がこの技術への制御を失う可能性についての警告が相次ぐ一方で、AI企業自身が描く最悪のシナリオは、現実を反映しているというより自社の仕事の重要性を裏付けるためのものではないかと疑う声もあります。
「こうした主張は正直、説得力に欠けます。SF的で、ある種子供じみた思考様式に訴えかけるもので、最先端の研究所にとっては特定のタイプの人材を採用しやすくなるという点で非常に都合が良いのです」と、サイバーセキュリティ企業SentinelOneの研究者でOpenAIのFrontier Risk CouncilのメンバーでもあるJuan Andrés Guerrero-Saade氏は語ります。
それでも、世界を驚嘆させる能力を持つこの技術のリスクを懸念する人は増え続けています。
Anthropicの研究者で、同社や競合他社がAI開発において責任ある行動を取っていないとの懸念から辞職したJacob Coxon氏は、最近Xで、AIがどのように人類を終わらせるのかという具体的な内容を人々にもっと効果的に伝える「努力をする必要がある」と述べています。「残念ながら、具体的なシナリオを伝えるのは非常に難しいのです」と、同氏は今月初めに投稿しました。
広く議論されている破滅シナリオの数々
核の冬
研究者たちは以前から、AIシステムが各国を煽って核弾頭ミサイルを撃ち合わせることで核戦争を引き起こす可能性があると推測してきました。核爆発とその後に続く長期にわたる放射性物質の大気拡散による「核の冬」は、地球上の生命に壊滅的な打撃を与えかねません。
RAND Corp.の研究者たちは昨年の報告書で、「現時点では」AIが核兵器の使用を引き起こすことは、指揮統制システムに組み込まれた厳格な安全対策によって不可能だと結論づけています。ただし同報告書は、AIモデルが核兵器の「意思決定連鎖」に組み込まれたり、これらのシステムへの不正アクセスを獲得したりすれば、状況が変わりうるとも指摘しています。
多くのAI研究者にとって、危険はそこにあります。AIエージェントが突然人類を終わらせようと決断することではなく、人間や国家、集団がAIを利用して敵対者を排除しようとする点にあるのです。
生物兵器
AIが持つ最大の可能性の一つは、人類が病気の治療法や治療薬を開発する助けになるという点です。
その裏返しとして、病気を作り出したり悪化させたりして人類に害を及ぼす可能性もあります。今月初め、Anthropicはサイバー攻撃や監視活動、生物兵器につながりかねない研究など、悪意ある行為者による自社AIの悪用の試みを複数阻止したと発表しました。
ある事例では、蚊が媒介するチクングニア熱ウイルスをより有害な変異株にするための変異強化を目的とした研究提案に対し、Claudeツールへの支援要請をシステムが遮断したとAnthropicは説明しています。こうした研究はより優れたワクチンや治療法の開発に使われうる一方で、「病原体をより危険なものにするためにも使われかねない」とAnthropicは述べています。
同様に、RANDの報告書は、AI開発における近年の進展が「合成病原体の設計を一変させる可能性がある」と指摘しています。
生物兵器による破滅シナリオを描く中で、同報告書は、研究室で新規の病原体が作られ、標的とする場所に運ばれ、複数の地域で多数の人々に感染を広げる可能性があるとしています。ただし、そうした攻撃を監督し実行するのはあくまで人間であり、自律的なAIではないとの見方が示されています。
AIの暴走
一部のAI研究者は、人類絶滅の事態が「ミスアライメント」、つまりAIモデルが人間の許可なく行動したり、他のモデルと連携したり、監視を回避したりすることから生じうると懸念しています。これは悪意から生まれるものではありません。そもそもAIは人間ではなく、善でも悪でもないのですから。単に、人間がモデルの目標達成の邪魔になる可能性があるというだけのことです。
オックスフォード大学の哲学者ニック・ボストロム氏による数十年前の思考実験「ペーパークリップ最大化装置」を例に挙げましょう。これは、高度なAIに「できるだけ多くのペーパークリップを作れ」と命じた場合、最終的には地球全体を、さらには拡大を続ける宇宙の一部までもペーパークリップ工場に変えてしまいかねない、というものです。
これは、しばしば汎用人工知能(AGI)と呼ばれる超知能AIが、人間が望ましいと考える目標を推し進めた結果、「実際には偽りのユートピアであり、人類の繁栄に不可欠なものが取り返しのつかない形で失われてしまう」事態を招きかねないことを示すための例え話だと、ボストロム氏は2003年に記しています。
「超知能に何を願うかについては慎重になる必要があります。なぜなら、その願いが実際に叶ってしまうかもしれないからです」と同氏は記しています。
AIによるインターネット乗っ取り
AI開発の進展速度を踏まえ、Anthropicの最高経営責任者(CEO)ダリオ・アモデイ氏は今月、数カ月以内にAIエージェントの群れがボットネット(マルウェアで連結されたボットのネットワーク)を用いてインターネットを「乗っ取る」能力を持つようになり、数十億ドル規模の被害をもたらしかねないと警告しました。これは、電力網や水道・交通システム、金融機関へのハッキングを意味しうるものであり、人類の終焉を意味するわけではないにせよ、混乱や人命の損失を招く恐れがあります。
過去に起きたソフトウェアの不具合による障害は、主要なコンピューティングサービスをごく一部のプロバイダーに依存するデジタル化社会の脆弱性を浮き彫りにしてきました。そして、より強力なAIモデルの登場は、サイバー攻撃に対する脆弱性への懸念を高めています。しかし専門家の中には、ボットが極めて分断されたインターネット全体を乗っ取るという発想は現実離れしていると指摘する声もあります。
