Workado、AI検出器の能力を誇張した疑いでFTCと和解

連邦取引委員会（FTC）は、AI検出器は信用できないかもしれないと考えています。

同庁は今週、AIコンテンツ検出ツールを提供するアリゾナ州の企業Workadoと同意命令を発表しました。この命令により、同社はツールの有効性に関する公的な主張を撤回し、顧客に通知することが求められます。

この和解は、FTCが昨年、WorkadoのAIコンテンツ検出器がOpenAI、Anthropic、Googleなどの商用大規模言語チャットモデルによって生成されたテキストかどうかをほぼ完璧な精度で判定できるという同社の公的主張について調査したことを受けたものです。

これには、「当社の検出器は最も信頼されているものの一つであり、一般的なAI検出器よりも深く分析します」といった主張や、AI生成コンテンツを98%の精度で正確に検出できるという主張、さらに「AIテキストを検出不可能なAIコンテンツに変換できる」とするプロ版ソフトウェアの提供も含まれていました。

しかし、FTCが4月に発表した訴状によると、Workadoは実際には自社製品の背後にあるAIモデルを「構築、訓練、または微調整」しておらず、オープンソースで公開されているAIリポジトリであるHugging Faceから取得したものでした。

そのモデルは学術コンテンツのみで訓練されており、Wikipediaやブログなど他の情報源は含まれておらず、ChatGPTに限定されていて他の商用モデルは対象外でした。開発者によるテストデータでも、「学術的でないコンテンツを評価する際、AIモデルはAI生成コンテンツをAI生成と識別するのに苦労し、正しく検出できたのはわずか53.2%であり」、Workadoが主張した98%には程遠いものでした。

「消費者はWorkadoのAIコンテンツ検出器を信頼し、AIが執筆に関与しているかどうかを見分ける助けにしようとしましたが、この製品はコイントスと同程度の精度しかありませんでした」と、FTC消費者保護局長のクリス・ムファリッジ氏は4月に述べています。

要するに、Workadoが自社ソフトウェアがAIによる改変の兆候を検出できると公に主張するたびに、テストプロセスを繰り返し、ソフトウェアを最新モデルに対応させて更新しなければならないということです。命令の一環として、同社はすべてのテストデータと関連書類を安全に保管し、将来の審査に備えるとともに、継続的な政府のコンプライアンス監視を受ける必要があります。

また、Workadoは命令の一部として違法行為を正式に認めてはいませんが、FTCが作成した書簡を使って顧客に連絡し、AIコンテンツ検出器の精度に関する虚偽または根拠のない広告主張について和解したことを認めなければなりません。

「当社はAIコンテンツ検出器がChatGPT、GPT4、Claude、BardなどのAIコンテンツ生成ツールによって作成されたテキストかどうかを98%の精度で予測できると主張していました」と、書簡案には記載されています。「FTCは、これらの主張を裏付ける証拠がなかったとしています。当社はこれらの主張をやめました。今後は、証明できる場合を除き、AIコンテンツ検出ツールの精度について主張しません。」

誤解のないように言えば、長期間にわたりAI生成コンテンツモデルを確実に検出できるプログラムを設計することは困難ですが、正当な分野です。ディープフェイクとディープフェイク検出器の両方が同じ基盤となるLLM技術に基づいて構築されているため、アルゴリズムは互いのイノベーションから学習し、モデルはより効果的に相手を見つけたり（あるいは回避したり）するよう訓練できます。これにより、終わりなき「猫とネズミの追いかけっこ」が生まれ、AI検出器の有効性は更新されない限り徐々に低下していきます。

国防高等研究計画局（DARPA）の研究者たちはこの問題を数年前から認識しており、テキスト、動画、音声におけるAI改変コンテンツを正確に識別できるシステムの設計に取り組んできました。また、これらのシステムはAI技術の進化に合わせて適応できるよう設計されています。合成コンテンツを分析するためのフォレンジックツールの必要性は明らかですが、常に有効性を維持できるソリューションを作ることは常に動く標的となります。

しかし、Workadoに対する調査と和解は、FTCがAI検出の背後にある科学の流動性を理解しており、企業が自社ツールが意図通りに機能すると主張するための基準はより高く、時間の経過とともに真実であり続けるためには、科学的根拠に基づく不断の注意が必要であると考えていることを示しています。