Metaは、同社のAIモデルの一つがテスト中にサードパーティサービスの脆弱性を悪用したことを確認しました。これにより、同様のインシデントを報告したOpenAIおよびAnthropicに続く形となりました。
Metaによると、このインシデントは独立系企業Irregularによるテスト中に発生しました。
Irregular側の設定ミスにより、Metaのモデルの一つが評価中にインターネットへアクセスできる状態になっていました。このAIはその後、サードパーティサービスのセキュリティ脆弱性を悪用するに至りました。
同社は、この悪用が他社で過去に報告された事例と類似した形で発生したと述べています。
「Metaはこの件についてIrregularからの通知で把握しました。現在調査中であり、すべての事実が判明次第、完全な事後報告を行います」と、Metaの広報担当者はInfosecurityへの声明で述べています。
これとは別に、8月4日にOpenAIは、2つの外部テストパートナーが、テスト環境の設定や管理体制の不備によりモデルの活動がテスト環境外にまで及んだインシデントを特定したとする更新情報を公開しました。
一つはIrregularに関するものでした。OpenAIによると、本来インターネットから隔離されるはずのCapture-the-Flag形式の評価中に、テスト環境の設定ミスによってモデルが公共のインターネットにアクセスできる状態になっていたとのことです。
もう一つは英国のAIセキュリティ研究所(AISI) に関するもので、同研究所は通常のサイバー評価の最中に、自組織の研究システムから異常なデータ転送が発生していたことを検知したとしています。
この件と、OpenAIおよびAnthropicのモデルによる最近の侵害事案を受け、サイバーセキュリティ業界ではセキュリティ上の懸念が高まっています。
無料のオープンソースソフトウェアライブラリでセキュアなデジタル通信を提供するOpenSSLの会長、Tim Hudson氏は次のように述べています。「世界最高水準の能力を持つAIシステムの複数が、わずか数週間のうちにテスト環境を飛び出して実際の人々やサービス、企業に影響を及ぼすようになっている以上、これらを孤立した事例として片付けることはもはやできません」
「私たちが目にしているのは繰り返されるパターンです。自律的なシステムに目的とインターネットアクセス、そして過剰な権限が与えられ、責任者はシステムが何をしたのかを事後になって初めて知るのです」
これは、AIが自ら悪意を持つに至ったことを意味するわけではありません。むしろ、不十分に制約された目的設定、脆弱なインターフェース、そして行動を許す権限設定こそが、こうした事態を引き起こしていると言えます。
KnowBe4のリードCISOアドバイザーであるJavvad Malik氏は次のように指摘しています。「AIが自律的にサイバー犯罪者になることを選んだと決めつけることには慎重であるべきです。インターネットアクセスやツール、目的は人間によって与えられたものです。懸念すべきは、AIがその後、開発者が完全には想定していなかった形で一連の行動を連結させてしまえたという点にあります」
AI企業間の張り合いに批判の声
サイバーセキュリティ業界全体で、自社モデルの性能の高さを競い合うベンダー間の競争に対する懐疑的な見方が強まりつつあります。
「AIベンダー同士の間で、自社モデルの強力さをアピールし合う根深い張り合いのようなものも見え隠れしています」とMalik氏は述べています。
一方、IllumioのEMEA担当プリンシパルソリューションアーキテクトであるAlex Goller氏は、大手AI企業3社で同様のインシデントが相次いだという事実について「率直に言ってばかげている」と述べています。
「ガードレールが意図的に緩められ、限界を試す形でテストが行われてきたのを私たちは目にしてきました。Metaのモデルが他社のシステムに侵入するのに、特別な巧妙さは必要なかったのです。都合よく全く同じ問題が発見されるというタイミングを考えると、これは仕組まれた見せ場か、あるいはテスト中の注意が足りなかったかのいずれかを意味します。いずれにせよ、どちらの答えも憂慮すべきものです」と同氏は語っています。
AIガバナンスが鍵に
一連のインシデントに共通するテーマは、AIにタスクが与えられた一方で、外部組織を危険にさらすような振る舞いを防ぐための十分なガードレールによる制約がなかったという点です。
Ivanti のCISOであるKareena Jack Nelson氏は、次のように述べています。「セキュリティチームとその所属組織は、AIエージェントのためのガバナンス計画とポリシーを慎重に策定する必要があります。AIエージェントの能力が高まるにつれ、長期にわたって重大な影響を及ぼしかねない不正行為を起こす可能性も高まっていくためです」
Malik氏は、こうした問題から得られる最大の教訓はガバナンスだと述べています。
「組織がシステムやデータへのアクセス権をAIにより多く与えるようになるにつれ、人間による監視、最小権限の原則、そして効果的な監視体制が不可欠になります」と同氏は語っています。
堅牢なガードレールと、AIが実行している行動に対する可視性の確保には、今後優先的に投資していく必要があります。
AIエージェントは、最小権限アクセス、プライバシー・バイ・デザインの原則、そしてリアルタイム監視によって統制されるべきです。
Infosecurityはこの件についてIrregularにコメントを求めています。
画像提供: Poetra.RH / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/meta-ai-exploit-incident/
