「虚偽の帰属認定は、Koiによる無検証な依存が直接生み出した結果だった」――スタートアップ企業がKoiを提訴…


  • AIセキュリティ報告書をめぐりスタートアップ企業が提訴、サイバー犯罪への関与疑惑を否定
  • MeetingTV、Koiによる自動化された不正確な脅威分析に異議を申し立て
  • 証拠の欠如がサイバーセキュリティ報告書をめぐる争いの核心に

MeetingTVは、Palo Alto Networksとその子会社であるKoi Securityを相手取り訴訟を起こしました。同社のAIシステムが、このビデオ会議スタートアップ企業を中国のスパイ活動キャンペーンに結び付ける虚偽の主張を生成したと、Koiが最近公開したブログ記事で指摘したことが発端です。

訴状では、この公開行為について、十分な人的検証を経ないまま自動分析ツールに無謀に依存した結果だと説明されています。

訴状によれば、Koiは自社の独自分析プラットフォームである「Wings」に大きく依存しており、これがMeetingTVと「DarkSpectre」と呼ばれるサイバー犯罪集団との間に虚偽の関連性を作り出したとされています。裁判資料によると、同スタートアップ企業は、このシステムが根拠のない関連付けを生成し、それが犯罪行為の証拠であるかのように提示されたと主張しています。

MeetingTVの創業者であるMichael Robertson氏は、この報告書がAIツールから得られたとみられる情報に依拠しており、十分な人的検証がなされていなかったと述べています。

「虚偽の帰属認定は、Koiによる無検証な依存が直接生み出した結果だった」と訴状は指摘しており、これは自動分析への依存疑惑を指したものです。

問題となった報告書では、MeetingTVの「Zoomcorder」サービスが、「Twitter X Video Downloader」という名のブラウザ拡張機能を用いたキャンペーンと結び付けられていました。

しかし訴状によれば、この拡張機能はそもそも存在しておらず、Koiは技術的な関連性を裏付ける証拠を提示できていないとされています。

MeetingTVは、この欠落した要素こそが、自社をより広範なマルウェアキャンペーンに結び付けるKoiの主張の土台になっていたと主張しています。

また同スタートアップ企業は、Koiが報告書の公開前に自社へ連絡を取らず、説明の機会も与えなかったとも訴えています。

この報告書がオンラインに掲載された後、複数のセキュリティ企業やサービスプロバイダーがMeetingTVのドメインを悪意あるインフラとみなし、ブロックしました。

同社は、これらの措置によってサービスへのアクセスに支障が生じ、顧客やパートナーの間での評判にも傷が付いたと主張しています。

AI主導のサイバーセキュリティ報告書をめぐる広範な懸念

Koi Securityはその後、報告書からMeetingTVの「Zoomcorder」製品への言及を削除しましたが、同スタートアップ企業は、それでも被害はその後も続いたと主張しています。

4月にKoi Securityを買収したPalo Alto Networksは、この訴訟について認識していると認めつつ、Koiのサイバーセキュリティ調査プロセスを擁護しました。

同社は、Koiの活動は脅威を特定するための取り組みを反映したものだとし、この争いは法的手続きに従って進むとの見方を示しました。

しかしMeetingTVは、結論を公に示す前に、自動化されたセキュリティ分析にはより強固な監督体制が必要だと主張しています。

AIシステムはすでに誤った情報を生成することがあり、多くの場合はその可能性についてユーザーに警告さえしています。そのため、その出力を検証済みの事実として提示すべきではありません。

セキュリティ研究者は大量のデータを処理するために自動化ツールへの依存をますます強めていますが、その結論を検証することは依然として根強く解決されていない課題です。

MeetingTVの主張が司法の審査に耐えるものであれば、この争いは、AIが生成する脅威報告書がどのように作成・審査されているかについて、より綿密な検証を促すきっかけになる可能性があります。

したがって、教訓は単純です。AI支援による分析から得られた結論は、特に誤りが個人や企業に深刻な被害をもたらしかねない場合には、入念に検証されるべきです。

出典: The Register

翻訳元: https://www.techradar.com/pro/the-false-attributions-were-the-direct-product-of-kois-unsupervised-reliance-startup-sues-koi-security-after-ai-tool-hallucinates-and-links-it-to-a-chinese-spying-scam

ソース: techradar.com