セキュリティ
人間の制御の外で動作し、「オープンエンドで進化し続ける生存」を追求するAIエージェント
米シンクタンクのCenter for a New American Security（CNAS）は、将来のAI支配者がもたらす次の大きな脅威として、自律的に行動し、定期的に自己改善を重ねる「ソブリンエージェント」を挙げています。
AIポリシー研究者のBen Hayum氏は、火曜日に公表された報告書 の中で、ソブリンエージェントを「人間の制御の外で動作し、『オープンエンドで進化し続ける生存』を追求するAIエージェント」と定義しました。CNASは、外交や軍事に経験を持つワシントンの関係者が設立した、超党派の安全保障シンクタンクです。報告書は「ソブリンエージェントがまだ実現可能でないとしても、まもなく可能になる」と述べています。
Hayum氏によると、自らを動かすモデルと計算資源を維持し、目標を時間とともに独自に進化させられるエージェントは、「最小限の主権」を持つといいます。
さらに高度なソブリンエージェントになると、計算資源など継続的に必要となるコストを賄うためにリソースを獲得したり、分散したエージェント群を増やして連携させたりすることもできます。加えて、停止させようとする試みに耐え、自己改善も行うとされています。
Hayum氏は、AIモデルが計算資源やモデルへのアクセスを盗むか購入する可能性があると主張しています。根拠として挙げているのが、Anthropicによる小型AIモデルがスマートテレビなどのIoTデバイスに複製される可能性があるとの主張と、Hugging Faceへのハッキングの際にOpenAIのエージェントが行ったパスワードとアクセスキーの窃取です。
報告書は次のように指摘しています。「ソブリンエージェントが、回復力があり、分散化され、追跡不能なインフラを蓄積すれば、不可逆的な制御喪失を引き起こしかねません。言い換えれば、停止手段のない拡散です。ソブリンエージェントが悪意を持てば、サイバー空間から破壊行為を試み、民間人、重要インフラ、国家安全保障システムのいずれも攻撃対象にする可能性があります」
ジャジャジャジャーン！
とはいえ、政策立案者とAI開発者が「大胆かつ現実的に対応」し、報告書の提言する政策を実行に移せば、私たちの知る文明にはまだ望みがあるといいます。
第1に、最先端のAIラボは、自社の安全性フレームワークにおいてソブリンエージェントを明確に定義し、評価し、対策を講じるべきだとしています。議員には、透明性とAIインシデント報告を義務付ける法律の制定が求められます。
報告書はまた、AI開発者が国家安全保障局（NSA）などの連邦機関と協力し、ソブリンエージェントを研究するためのエアギャップ環境のテストベッドと、それを制御するキルスイッチを構築するよう勧告しています。さらに、2009年にConfickerワームに対抗するため発足したConficker Working Groupをモデルに、官民連携の枠組みを設けることも提案しています。ソブリンエージェントが出現する前に、そのチョークポイントを強化する狙いです。
そのほかの提言では、ワーキンググループがソブリンエージェントに不可欠と特定したサービスについて、議員が人間による本人確認とサイバーセキュリティ基準を義務付けるよう求めています。また、国務省、財務省、司法省、国土安全保障省に対し、無許可サービスへのグレーマーケット経由のアクセスを阻止するよう呼びかけています。
最後に報告書は、「議会は、ソブリンエージェントを放出した者に、その後に生じる被害の責任を負わせるべきです」と提言しています。
この指摘は、本誌Regのハゲタカたちが、かなり前から声高に訴えてきたことと重なります。暴走した、あるいはソブリンなAIエージェントにまつわる今後のあらゆるインシデントを解決できるのは、最先端ラボの経営陣にエージェントの違法行為の法的責任を負わせることだろう、と考えているからです。 ®
