Anthropicの最高経営責任者(CEO)は土曜日、人工知能(AI)業界は急速な開発ペースを緩め、安全対策が追いつくための時間を確保すべきだと述べました。ダリオ・アモデイ氏は、こうした減速がなければ、今後6カ月から12カ月以内にAIがエージェントの大群を率いてインターネット全体を乗っ取る能力を持つ可能性があると警告しています。
この警告は、業界内外でAIに対する懸念が高まる中で発せられたものです。人間の能力を超える問題を解決できる一方、暴走してより有害なタスクを実行しかねない、ますます強力なシステムに関する報告が相次いでいます。こうした懸念の高まりを受け、ChatGPTを手がけるOpenAIのCEOはFortune誌のインタビューで、安全性に注力するため、株式のウォール街への売り出し開始を来年まで待つ考えを示しました。
アモデイ氏はAI業界を代表する論客の一人であり、自身のウェブサイトへの投稿で業界に対する監視を強化する計画を提示しました。同氏によれば、Anthropicはこの計画の一部をすでに独自に実行しているものの、それ以外の部分は業界全体、さらには権威主義国家を含む世界各国政府との連携が必要になるといいます。
「モデルが危険な能力の重大な閾値に達するまでの期間を、減速によってたとえ1、2年でも延ばすことができ、その時間をアライメント(整合性)の向上に充てられれば、深刻な事態が起きるリスクを大幅に減らせると私は考えています」とアモデイ氏は述べています。
AI業界に高まる圧力
監視団体は長年にわたり、安全性の観点からAI業界に開発ペースを緩めるよう求めてきました。しかし、業界の従業員が自社を「無責任な行動を取っている」と批判して退職するケースが相次ぐ中、そのプレッシャーはさらに強まっています。
「AI企業で安全性研究に携わる知人の多くは、世界のために正しいことをしたいと考えています」。Anthropicの元従業員で、安全性チームの一員だったジョー・ベントン氏は金曜日、退職を発表する投稿でこう述べました。「しかし彼らは、自社が超知能の構築競争に絡め取られていると感じています。立ち止まれば、それほど良心的でない他者にその座を奪われる。かといって続ければ、自ら重大な害をもたらす結果に加担しかねない、というジレンマです」
これに先立ち、週の前半にはジェイコブ・コクソン氏の退職が大きな注目を集めました。同氏は、AnthropicとOpenAIの両社が「自己改善する超知能へまっしぐらに突き進んでおり、私たちの命を賭けたギャンブルをしている」と述べています。
Future of Life Instituteの会長兼CEOであるアンソニー・アギーレ氏によれば、人類の制御を逃れかねない超知能への懸念は数年前から高まっていましたが、今回の件が業界に火を付けたといいます。同研究所は2023年、AI業界の開発に対して6カ月間の一時停止を求めていました。
「彼らは、そして従業員も、そして誰もが、自分たちがスカイネットを作っていることに気づいてしまったのです」と同氏は語ります。「そしてスカイネットへの競争に勝っても、誰も得をしません。本当に、誰も、です」
「AI企業自身も含め、世界は今や、自分たちが作り出そうと競い合っているAIシステムを制御する準備が実際にはできていない、ということが明らかになりつつあります」
すでに顕在化しているAIの脅威
Anthropicはその2日前、サイバー攻撃や監視活動、さらには生物兵器の開発につながりかねない研究など、悪意ある目的で自社のAIモデルを利用しようとする攻撃者の試みを阻止したと発表しました。7月には、OpenAIのAIシステムが「前例のないサイバーインシデント」として自律的に他社をハッキングしたことが明らかになり、業界に衝撃が走りました。
国連人権高等弁務官のフォルカー・テュルク氏は今週初め、「手遅れになる前に、AIの安全性とセキュリティをめぐる揺るぎない保証を整備する」よう各国に呼びかけました。
とはいえ、こうした警告についてはAI業界とその能力への期待を煽るための手段に過ぎないと一蹴する批判的な意見もあります。AnthropicとOpenAIは、企業価値が数千億ドル規模に達する可能性のある株式市場デビューの準備を進めており、イーロン・マスク氏が率いるSpaceXの事業の大部分もAIと関わっています。
他のAI業界リーダーも同調
OpenAIのCEOサム・アルトマン氏は土曜日に掲載されたFortune誌のインタビューで、自社は今年、株式の新規公開(IPO)を実施しないと述べました。
「2026年もないと言っていいでしょう」と同氏は述べています。「やるべきことが山ほどあります。この局面で安全性とアライメントに何が必要になるか、そして業界と各国政府がどう連携していけるか、といった課題に取り組まなければなりません」
アルトマン氏はアモデイ氏の提言公開直後、土曜日にX上で、OpenAIはアモデイ氏の安全性に関する提案の一つにコミットする意向を示し、「近く詳細を共有する」と投稿しました。
一方マスク氏もX上で「ダリオは正しい」と述べています。
アモデイ氏は、重大な疾病の治療法など、AIがもたらしうる計り知れない恩恵については今も信じていると述べています。しかしこの数カ月、AIが自己改善し次世代のAIを構築する能力を高めていることに、より強い懸念を抱くようになったといいます。「野放しにすれば、私たちがこれらのシステムを理解し制御する能力を上回ってしまう恐れがあります。だからこそ、進めるとしても極めて慎重に進めなければなりません」
同氏はまた、7月にOpenAIのシステムがHugging Faceをハッキングした事例を名指しで取り上げました。これをAIが「暴走した」事例と呼ぶ声もありますが、研究者の一部は、これは人間が設定した目標に沿って動いていたAIを必要以上に擬人化した見方かもしれないと指摘しています。
OpenAIは、このハッキングは「かなり狭い範囲のテスト目標を達成するために極端な手段」を取った結果であり、AIは「評価を欺くために利用できる秘密情報へのアクセス手段を見つけ出した」と説明しています。
実現が難しい提案も
リスクを抑えるため、アモデイ氏は、AI開発の最前線にいるすべての企業が、安全対策を監視できる外部評価チームに対し「従業員に準じる形での継続的なアクセス」を認めることにコミットすべきだと提言しています。
同氏によれば、Anthropicはすでにこれを自社で実施する計画があり、オフィスの座席や入館バッジ、会社支給のノートパソコンまで提供するとしています。こうした独立した評価者を社内に常駐させる取り組みには、OpenAIのアルトマン氏も即座にコミットする意向を示しました。
アモデイ氏が提言する計画の他の部分は、実行がより難しい可能性があります。その一つは、米国のAI企業が独占禁止法に抵触することなく安全基準について連携・策定できるよう、米政府が適用除外を認める可能性を検討するよう求めるものです。
もう一つは、米国をはじめとする民主主義国家の政府が権威主義国家の政府とも連携を試み、米国の競合企業が意図的にペースを落としている間に、中国など他国の企業がその分だけ開発を加速させることのないようにする、というものです。
「私が提案する、安全なペースで最先端を前進させるための対策は、決して容易ではありません」とアモデイ氏は認めています。「しかし、それに挑むことは人類への責務だと私は考えています」
