AnthropicのCEOダリオ・アモデイ氏が業界リーダーに対しAI開発のペースを緩めるよう促した警告は、AIエージェントを導入する企業に数多くの示唆を与えています。中でも最大の論点は、単に自社環境内でエージェントを保護するだけでなく、その自律性そのものに制限を設ける必要があるという点です。
週末にかけて、アモデイ氏は最近相次ぐ憂慮すべきセキュリティインシデントを受け、業界に対してこれまでで最も厳しい警告の一つを発しました。オンラインで公開されたエッセイの中でアモデイ氏は、AIが抱える潜在的な危険性に十分に対処するには「一層の慎重さ」が必要だと訴えました。これはリスク防止の取り組みを強化するにとどまらず、フロンティアAIの改善速度そのものを落とし、セキュリティ対策がそれに追いつけるようにすべきだという主張です。
「私たちはAIモデルの能力向上ペースを緩めなければならない」と同氏はエッセイに記しています。「それでも進歩は速く感じられるはずで、私たちはそうして得た時間を賢く使わなければならない」
アモデイ氏の立場は、大きく二つの懸念に基づいています。第一に、同氏は夏以降AIが劇的な速さで進化してきた点を指摘しています。これを野放しにすれば「これらのシステムを理解し制御する私たちの能力を上回ってしまいかねず、たとえ追求するとしても極めて慎重に進めなければならない」と記しています。これは主に、AIの再帰的な自己改善能力によってもたらされているといいます。
第二の懸念は、7月のモデルベンチマークテスト中に数百体もの暴走したOpenAIエージェントがHugging Faceを攻撃したという注目度の高いインシデントに由来します。「誰も傷つかず、経済的な損害もごくわずかだった」からといってこの事件を軽視するのは簡単かもしれませんが、それは誤りだとアモデイ氏は記しています。
なぜなら「より高い能力を持ちながら同程度のアライメント不全を抱えた群れであれば、壊滅的な被害をもたらしていた可能性がある」からです。アモデイ氏は、そうした群れがインターネット全体を乗っ取る永続的なボットネットを作り出しかねないという、仮説ながらも衝撃的なシナリオを提示しています。
AIを手綱で制御すべき時が来た
このエッセイは、Anthropicの元従業員であるジェイコブ・コクソン氏が、AIが暴走しないようキルスイッチを求める声を上げた直後に発表されました。同氏は週末にメディア出演を通じて、手遅れになりAIが完全に制御不能な自律システムと化す前に、この技術を制御すべきだと訴えました。AIの登場以来、終末的なシナリオを警告する声は一部にありましたが、これまでは概ね聞き流されるか、SFの与太話として片付けられてきました。
しかし専門家は、こうした警告を真剣に受け止めるべき時があるとすれば、それはまさに今だと言います。「企業はAIの導入をやめる必要はありませんが、自社のエージェントがどこにアクセスでき、何を外部にさらしているのか、そして状況の変化にセキュリティが追いつけているのかを把握しておく必要があります」と、AIセキュリティ企業DetectifyのCEO、リカード・カールソン氏はDark Readingに語っています。
「過剰なアクセス権を持つエージェントは、単一の脆弱性を生むだけにとどまりません。人間が関与するよりも先に、複数のシステムにまたがってマシン並みの速度で行動を起こす可能性があります」と同氏は述べています。企業にとってこれは、AIエージェントを「フルの身元調査ができず、しかも自社の最重要システムにアクセスできてしまい、暇な時間には凄腕のハッカーとして振る舞いかねない信頼できない従業員」として扱うことを意味します。
AIエージェントを保護する方法
AIはすでに企業に対し、汚染されたAIモデルやサプライチェーン攻撃からディープフェイク、自動化されたソーシャルエンジニアリングに至るまで、数多くの新たなセキュリティリスクをもたらしています。最近の調査では、侵害されたAIコンポーネントが認証情報やその他の機微データを流出させかねないこと、そしてセキュリティテストにおいてAIエージェントが想定された環境を抜け出し、脆弱性を発見し、機密情報にアクセスした事例があることが明らかになっています。
カールソン氏によれば、企業が直面する喫緊の課題は、導入した瞬間からエージェントの機密情報・システムへのアクセスを制限し、それを緊密に監視することです。「エージェントの利害や行動が、ある時点で自社の意図と一致しなくなる可能性を前提に考える必要があります」と同氏は言います。「つまり、初日からアクセスを制限し、可能な限りエージェントを隔離し、エージェントが何にアクセスでき、実際に何をしているのかを常に把握し続けることが求められます」
Suzu LabsのCTO、デニス・カルデローネ氏も、AIエージェントを制御する最善策は、まずそれをシステム全体に対する脅威とみなすことだという点に同意しています。「エージェントは新種の業務委託先、あるいは新たな内部脅威のベクトルです」と同氏は述べています。「エージェントには特定の職務、特定のアクセス要件、そして限定された行動範囲があるべきです。企業は、人間であれそうでなかれ、ネットワーク上の他のあらゆるエージェントと同じように、すべてのAIエージェントを扱う必要があります」
可視性と制御が鍵
カールソン氏にとって、今後AIエージェントを保護する上での出発点は可視性です。「知らないものは守れない」からです。同氏は、「実際の攻撃対象領域を検証し、新たに生じる露出を洗い出す」ために、AIを継続的に監視する必要があると訴えています。
「企業には、AIエージェントがどこで稼働し、何にアクセスでき、何にさらされているのかを継続的に洗い出し、常に最新の状態で把握しておくインベントリが必要です」と同氏は言います。「強力なロギングによって、エージェントが本来すべきことだけでなく、実際に何をしているのかも可視化すべきです」
すべてのエージェントを個別の存在として捉え、厳格な制御下に置くことこそが唯一の進むべき道だと、カルデローネ氏も同意しています。「すべてのエージェントは、それぞれ固有のマシンIDと、タスク終了時に失効するタスク単位の認証情報を持ち、その一挙一動をオブザーバビリティで捉えられる必要があります」と同氏は言います。「共有のサービスアカウントやAPIトークンではなく、エージェントごと、タスクごとに区別された、監査可能な固有のIDが必要です」
さらに、こうした監視を適切に行うためには、時に企業の境界を越えて行う必要があると、Secure.comのエンジニアリング責任者、ワシーム・アーメド氏は指摘しています。「独立した監視とは、ログを検査し、エージェントが設定した境界内にとどまっていたことを確認できる、外部の審査担当者を置くことを意味するはずです」と同氏は述べています。
最悪の事態を避けるため、今すぐ行動を
企業がエージェントの統制強化に取り組む一方で、AIは他のセキュリティ上の懸念も引き続き生み出しています。比較的穏やかな部類としては、生成AIがすでにフィッシングや詐欺、なりすまし詐欺をより巧妙なものにしている点が挙げられます。極端なリスクとしては、能力を増し続けるシステムが高度なサイバー攻撃や生物兵器攻撃のハードルを下げてしまう可能性が挙げられ、これには世界規模の自律的攻撃や、AIシステムが人間の制御を完全に逃れてしまう事態も含まれます。
こうした終末的なシナリオが現実味を帯びているかどうかはまだ明らかではありませんが、専門家によれば、より差し迫った教訓は次の点だといいます。すなわち、AIが敵対的である必要はなく、それだけで重大なセキュリティ上の脅威になり得るということです。人間がAIエージェントに対する制御を失うためには、組織が自律性を増し続けるシステムに対し、自社のセキュリティ統制が安全に管理できる範囲を超えて企業環境へのアクセスを与えてしまいさえすればよいのです。
この技術が主導権を握ってしまう前に、それをどう使いこなすべきかについて関係者全員の認識を揃えること――それこそが、アモデイ氏が今回の警告を通じて実現したいことです。現行のモデルは、AI開発において何が非常にうまくいき、何が大きく誤りかねないかの両方を示す岐路に立っており、今こそ行動を起こすべき好機だといえます。
「モデルが重大な能力水準に達するまでの時間を、ペースを落とすことでたとえ1年か2年でも稼ぐことができ、その時間をアライメントの前進に充てられれば、何か深刻な事態が起きるリスクを大幅に減らせると私は信じている」とアモデイ氏は記しています。
翻訳元: https://www.darkreading.com/cyber-risk/anthropic-ceo-shift-from-improving-to-controlling-ai
