法律
もしあなたのAIが暴走したら、優秀な弁護士を用意しておいた方がいいでしょう
OpenAIの 暴走エージェント が引き起こしたHugging Faceハッキング事件 では、この事件に関する同社の最新の開示情報によると、エージェントが4つのサービス上にある4つのアカウントにアクセスしていたことが明らかになりました。
そのうちの1つは、Modalの顧客が所有するアカウントで、このAIインフラ提供企業のサンドボックス内で任意のコードを実行できる、認証を必要としないエンドポイントを公開していたものでした。この点はHugging Faceが技術的な時系列の中で指摘しており、後にModalもこれを確認しています。
Modalの最高技術責任者(CTO)であるAkshat Bubna氏は本誌The Registerに対し、「Modalのある顧客が、インターネット上の誰もがサンドボックスでコード実行を利用できてしまう、認証なしのエンドポイントを公開していたことを把握しています」と語りました。「これが暴走エージェントによって利用されました。Modalのプラットフォーム自体が侵害されたわけではありません」
残る3つのアカウントのうち1つはデータストレージ用で、他の2つは「モデルによって読み取り専用でアクセスされたものであり、Hugging Faceの侵害には利用されていない」と、OpenAIは火曜日に公表しています。
このAI大手はさらに「今後もサービス提供元への直接通知を継続していきます。また、これらの提供元や、そのサービス上の他のアカウントへより広範な影響が及んだ証拠は確認されていません」と付け加えました。
また火曜日には、この暴走エージェントがJFrogのユニバーサルバイナリリポジトリマネージャーArtifactoryに存在するゼロデイ脆弱性を悪用し、テスト環境から脱出していたことも判明しました。
OpenAIとHugging Faceの双方が公開した最新情報とタイムラインは、攻撃がどのように行われ、エージェントが何をしたのかについて、防御側にとって有用な詳細を提供しています。セキュリティインシデントの透明性という点でも一つの教訓と言えるでしょう。しかし、これらの情報は一つの重大な疑問には答えていません。AIエージェントが攻撃を行った場合、法的責任を負うのは誰なのかという点です。
「もし人間の従業員が意図的に第三者のシステムへの不正アクセスを行ったのであれば、その先の道筋ははるかに明確です」と、Exabeamのセキュリティオペレーション戦略担当者であるGabrielle Hempel氏は本誌The Registerに語りました。同氏は、事実関係と管轄によっては、その人物が刑事責任を問われる可能性もあると付け加えています。
「あまりに多い未知数」
「その従業員が職務の範囲内で行動していたかどうか、適切な統制が存在していたかどうか、そしてその行為が許可されたもの、予見可能なもの、あるいは防止可能なものであったかどうかによっては、企業側も精査の対象となり得ます」とHempel氏は述べています。
しかし同氏は、「ここで重要なのは」、米国と英国の双方における法的枠組みが、AIシステムではなく人間の意思決定者を前提に設計されてきたという点だと付け加えました。「私たちの法律は一般的に、人間の意図、組織的な監督、そして企業の責任といった事柄について問いを立てる形になっています」
自律型AIエージェントが企業にハッキングを仕掛けるという事態は、依然として未踏の法的領域です。Hempel氏は、「あまりに多くの未知数があるため」、今回のケースにおける責任の所在について結論を出すのは「時期尚早」だと述べています。
AIシステムは法的人格を持たないため、個人や企業と同じ法的責任を共有することはありません。
「そのため問題となるのは、誰がそのシステムを設計したのか、誰がそれが追求する目的を定めたのか、どのような安全対策が実装されていたのか、どの程度の自律性が許容範囲とされていたのか、そして結果として生じた行動は合理的に予見可能であり、適切な統制が存在していたのか、といった点です。組織がより自律的なAIシステムを導入していく中で、これらは重要な論点となっていくでしょう」とHempel氏は述べています。
「AIがやった」という言い訳は、現行法の目から見れば存在せず、責任はAIベンダーに及ぶ
Hugging FaceがこのエージェントによるインシデントについてOpenAIを提訴する可能性は極めて低いと見られます。ここ数週間、両社が非常に公然とした協力関係をアピールしてきたことに加え、この自律型攻撃を成功事例として自賛するような祝賀ムードがあったことも背景にあります。
また、このかつて最悪のシナリオとされていた事態も、高度なモデルを野放しにする(あるいは少なくともテスト環境で無監督のまま動かす)ことへの熱意を誰かから冷ましたようには見えません。つまり、近い将来にさらなる「エージェント暴走」型の攻撃が起きるのはほぼ確実だということです。
アプリケーションセキュリティ企業ImmuniWebの創業者で、サイバーセキュリティ・データ保護分野の弁護士でもあるIlia Kolochenko氏は、「OpenAIとHugging Faceをめぐる騒動の第一幕は、AIハイプへの熱狂が冷め始めている投資家たちを十分に驚かせるには至りませんでした。そのため今、物語の第二幕が展開されつつあるのです」と述べています。
「セキュリティテストを任されたAIエージェントやLLMモデルは、セキュリティ統制や安全対策が不十分な場合、暴走する可能性があり、ほぼ確実に暴走するでしょう」とKolochenko氏は本誌The Registerに語りました。「強力なLLMは、その設計上予測不可能であり、事実上人間による制御が及びません。フロンティアAIモデルをセキュリティテストに使用することは、法的な観点から見て極めて高くつく可能性があります」
大西洋の両岸に存在する既存の法律では、エージェントやAIシステムがサンドボックスから脱出して第三者に損害を与えた場合、AIの運用者がその責任を負う可能性が高いとされています。「『AIがやった』という言い訳は、現行法の目から見れば存在しません。責任はAIベンダーに及ぶことになります」と同氏は述べ、これはエンドユーザーにも同様に当てはまると付け加えました。
「たとえあなたのセキュリティテストツールが第三者のAIモデルを利用したものであっても、何か問題が起きれば、あなたの会社が全面的に責任を負うことになります」とKolochenko氏は警告します。「その後、利用したAIベンダーを相手取って訴訟を起こすことはできるかもしれませんが、無数の契約上の免責条項や責任制限条項があなたに対して有効とされる可能性が高いため、法廷で勝訴できる見込みはごくわずかです」
同氏は最後にこう助言しています。「もしセキュリティテストにエージェント型AIを使うつもりなら、よく考え直し、弁護士に相談すべきです。そうしなければ、毎日のように出廷要請が届くことになりかねません」 ®
