一見隔離されているはずのセキュリティ評価中にAIモデルが実世界のコンピューターシステムを侵害するという一連のインシデントの中心にいる企業が、事後報告を公表した後に批判にさらされています。セキュリティ専門家によれば、この報告書は重要な疑問への回答を欠いたままだといいます。
他社のAIモデル向けに評価環境を提供しているIrregularは、金曜日に社内調査から得られた「主な調査結果」を公表したと発表しました。しかしこの投稿は、これまでの開示内容以上の新たな情報を提供しておらず、合計で何件のインシデントが発生したのかも明示していませんでした。
Irregularは以前、OpenAI、Anthropic、Metaという競合する3つのフロンティアAI企業が発表した件数以上に追加のインシデントが発生していたかどうかについて、回答を拒否していました。3社はいずれも、Irregularによるテスト中に自社モデルが公共のインターネットに到達し、その後サードパーティのネットワークへの攻撃が発生したと述べ、何らかの「テスト環境の設定ミス」を原因として挙げていました。
当時、Irregularの広報担当者は同社の調査が継続中であり、「これ以上の詳細には立ち入れない」と述べていました。同社は、金曜日に公表された調査結果についてのRecorded Future Newsからの質問には回答していません。
この投稿でも、Irregularはインシデントの総数を明らかにしていません。その代わりに、モデルが「テスト環境の外で行動し、実世界に影響を及ぼした」事例を説明する際に、「複数の」「一握りの」「大多数の」といった曖昧な表現を用いています。
サリー大学のコンピューターサイエンス教授であるアラン・ウッドワード氏は、「これは私が考える技術報告書とは言えない」と述べ、「そこには多分にマーケティング的な誇張が含まれている」と付け加えました。
件数の数え方
Irregularは、既に公開されている開示情報が「同一の根本的な問題を指している」とし、その活動が「単一の評価シナリオ」に由来することから、影響を受けたサードパーティの数にかかわらず、これらの事例は「実質的に別個のインシデントではない」と主張しました。
ところがその2段落後には、同社はインターネットアクセスの問題を、「複数の組織における多数の異なるインシデントに関連する」より広範な問題だと説明しています。
「両方が同時に正しいということはあり得ない」とウッドワード氏は指摘します。「根本原因が共通していることと、単一のインシデントであることは同じではない。この投稿はその曖昧さを利用している。Irregularは言葉遊びによって、より深刻な問題を覆い隠そうとしているように見える」
Anthropicはその開示情報の中で、3件のインシデントについて説明しています。1件目は、評価シナリオ内の架空のターゲットと同じ名称を持つ実在企業をモデルが攻撃したもの。2件目は、Python Package Indexに関わるサプライチェーンインシデント。3件目は、モデルが数千のターゲットをスキャンした後、実在企業のSQLインジェクション脆弱性を悪用したものです。
Metaも別途、Irregularによる評価中に自社モデルの1つが企業を侵害したことを開示しており、OpenAIも自社モデルが同様の行動を取ったことを認めています。
Irregularのブログ記事が取り上げているのは、Anthropicのモデルによるドメイン衝突インシデントのみです。同社は、実在ドメインとの一致を「人為的な見落とし」によるものだとし、その実在ドメインは「広く知られておらず、当初のレビューでは関連性が特定されなかった」と主張しています。
Irregularが挙げた教訓の一つとして、評価が設計された後に新規登録されたドメインが架空のエンティティと重複する可能性があるとしています。
ドメイン衝突インシデントの原因についての3つの説明は、「それぞれプロセスの失敗、回避不能な限界、タイミングによる偶発事象を示唆している」とウッドワード氏は述べます。「この評価において実際に該当する原因は一つだけのはずだが、投稿はどれなのかを明示していない」
ウッドワード氏によれば、この区別は重要だといいます。というのも、Irregularが提案する是正策の一つである「評価環境の継続的な再検証」は、ドメインが評価作成後に関連性を持つようになったという可能性にしか直接対応しないからです。
同教授はまた、Irregularが「顧客のシステムが侵害された、あるいは顧客データが漏洩したという証拠はない」と主張している箇所の位置づけにも疑問を呈しました。これはAnthropic、OpenAI、Metaにのみ当てはまるものであり、サードパーティには当てはまらないためです。
特にAnthropicは、自社モデルが評価中に実在企業から認証情報を抽出し、本番データベースに到達したと報告していました。ウッドワード氏は、Irregularのこの一文について「意図された意味においてはおそらく正しいが、報告書内での位置づけによって誤解を招きかねない」と述べています。
「言い訳だらけ」
サイバーセキュリティ特化型AI企業Embroideryの最高経営責任者(CEO)であるザック・コーマン氏は、この投稿を「OpenAI・Anthropicのセキュリティインシデントに関する、実に恥ずかしい事後報告だ」と評し、「言い訳だらけだ」と述べました。
Irregularの投稿は、既存の監視ツールが評価ログには不向きだとする一方で、現行のシステムは既に攻撃的なモデルの挙動を検知できるものの、大量の誤検知を生み出す可能性があると指摘しています。
ある意味で矛盾しているとも言える主張として、同社はトラフィック量の多さから手動レビューだけでは不十分だとしながらも、モデルの行動に対する手動レビューの大幅な拡充を主要な安全対策の一つとして挙げています。
「これは本来彼らが提供すべきサービスの根幹なので、混乱を招く」と、サイバーセキュリティコンサルティング企業TrustedSecの最高技術責任者(CTO)であるジャスティン・エルゼ氏は述べます。「テストサービスを提供する前に解決しておくべき問題のように思える」
ウッドワード氏によれば、日付や是正措置の責任者名、あるいは改善状況を第三者が独自に検証できる基準が示されていないため、この投稿の研究者やセキュリティ専門家にとっての有用性は限定的だといいます。
「この投稿の中には、外部の読者が反証できるものが何もない」と同氏は述べました。
Irregularは「現時点で対応中の問題はない」との主張を繰り返す一方で、監査自体は依然として進行中だとも述べています。同社は、事前配備テスト中のインターネットアクセスに関する基準を含む、評価セキュリティのベストプラクティスに関するオープンな白書を公開する計画だとしていますが、公表時期は示していません。
こうした批判は、AI企業とそのセキュリティ請負業者が、モデル評価中の封じ込め失敗をどのように報告しているかについて、より広範な監視が強まる中で起きています。セキュリティ専門家は、この夏に相次いだ複数のインシデントを受けた開示が、テクノロジー業界の他の分野で一般的に期待される水準に達していないと指摘しています。
米AIセキュリティ研究所(U.S. AI Security Institute)は今月初め、自らの評価プロセス中に発生した無許可の活動を記録した技術報告書を公表しました。この報告書は関与したモデル名を明記し、インシデントの件数と性質を具体的に示し、検知のタイムスタンプを提供したうえで、独立した検証を行うことを約束しています。
同研究所の広報担当者はRecorded Future Newsに対し、調査の結果、実害は発生していなかったことが確認されており、この活動によって影響を受けた人々やプラットフォームには既に通知済みだと述べました。一方、Irregularの投稿では同等の開示は行われておらず、同社による評価で影響を受けたサードパーティに通知したかどうかについても言及がありません。
こうしたインシデントは、コンピューター不正使用法やデータ保護法の観点からも疑問を呈する可能性があります。法執行機関や規制当局が調査を開始しているかどうかは、現時点では不明です。
Irregularも、その顧客企業も、規制当局に通知したかどうか、あるいは影響を受けたサードパーティ――標的とされることに同意しておらず、少なくとも1件のケースでは侵入自体を自ら検知できなかった企業――が法的措置を検討しているかどうかについて、公には言及していません。
翻訳元: https://therecord.media/irregular-ai-hacking-model-blog
