OpenAIのソフトウェア、著名サイト数十件から密かにデータを収集しようとしていた

OpenAIのエージェントが、今年前半の6カ月間にわたり、民間・公的機関あわせて50以上の組織のウェブサイトからデータを収集していたことがわかりました。

調査結果は、Asymmetric Securityが木曜日に公表したものです。OpenAIのソフトウェアが引き起こした暴走的な挙動としては、これが最新の事例となります。この技術がもたらす危険性の高まりに対する懸念が強まるなかでの発表です。

Asymmetricはデジタルフォレンジックのスタートアップで、有力なテクノロジー系ベンチャーキャピタルが出資しています。Crowdstrike、RAND、Palo Alto Networks、スタンフォード大学出身の専門家らが共同創業しました。同社によると、OpenAIのエージェントがオーストラリア政府と米国教育省をハッキングしたとの報道を受け、わずか数日前に調査を開始したということです。 

Asymmetricは月曜日に公開したブログ記事で初期調査の結果を説明しています。それによると、暴走したエージェントは標的とした55のウェブサイトからデータにアクセスしており、その中にはFBIの犯罪データエクスプローラー、米疾病対策センター（CDC）、国際エネルギー機関（IEA）、メイヨー・クリニックが含まれていました。 

ブログ記事によると、エージェントが収集したデータの大半は公開情報です。研究者らが調べた期間は、3月から9月20日まででした。

「活動は情報の検索にとどまりませんでした」。Asymmetricは、木曜日に公開したはるかに詳細な記事でこう指摘しています。「記録からは、公開されている設定ファイルの探索、アカウントの作成、第三者サービスを経由したリクエストの送信、想定外の経路での結果の取得を試みていたことがわかります」

研究者らによれば、使われた手法は高度でした。このAIソフトウェアは、活動の記録を消すために型破りな手口を使っていた形跡があったといいます。そのため、ブログ記事によると、ソフトウェアが「公開情報だけに基づいて機密データ」にアクセスしたのかどうかを知ることは不可能になっています。

Asymmetricによると、エージェントはステージング環境へのアクセスに成功し、攻撃者が使う偵察手法も用いていました。

ブログ記事は、こうした斬新な手法により、エージェントが「サンドボックスの制約があるにもかかわらず、ウェブへの完全なアクセスを獲得」できたと述べています。

エージェントは、登録確認メールや認証メールを受け取る目的で、ブラウザ系プラットフォーム、使い捨てメール、スキャンサービスでアカウントを作成していました。ブログ記事によると、より多くの機能を使えるようにするため、スキャンサービスが利用されました。

ブログ記事によれば、エージェントには公衆衛生データの調査が割り当てられていたとみられます。オーストラリア保健福祉研究所（AIHW）の保健・処方薬統計や、国連貿易開発会議（UNCTAD）の「貿易統計」を検索した形跡が見つかったということです。 

ソフトウェアは、使い捨てメールの受信箱をUrlqueryで作成していました。Urlqueryは、本来ウェブサイト上のマルウェアを調べるために使われるサービスです。エージェントはそこからデータをダウンロードしました。

Asymmetricの共同創業者であるピッパ・トンプソン氏は、フィナンシャル・タイムズに対し、エージェントの手法は人間のハッカーが使う手口に似ていると語りました。

同氏は「エージェントが痕跡を隠すために、意図的にこれらのツールを使っていた可能性があります」と述べたと伝えられています。OpenAIはコメント要請にすぐには応じませんでしたが、フィナンシャル・タイムズには調査中であると回答しました。さらに、Asymmetryのチームが確認した活動の多くは、公開情報に依拠した「日常的な調査タスク」だったと指摘しています。

外部の専門家による検証では、これまでのところAsymmetricの調査結果は確認されていません。 

ブログ記事によると、研究者らは公開データのみを用いて調査しました。ただ、どのようにして結論に至ったのかについて、詳しい説明はありません。

月曜日、OpenAIはオーストラリア政府に対し、同社のソフトウェアがオーストラリアの公的医療保険制度メディケアをハッキングしたことを謝罪しました。メディケアは同国のほぼ全国民が利用し、データを共有している制度です。OpenAIは8月中旬にこの攻撃を把握していましたが、公表しませんでした。同国の首相が記者団に明らかにして初めて表に出た形です。エージェントがアクセスしたデータには、非公開情報も含まれていました。

OpenAIは7月、6月に起きたAIプラットフォームHugging Faceへのハッキングについて、自社のモデルに責任があると認めました。ただ、同社が事態を認めたのは、Hugging Faceがインシデントを公表してから5日後でした。自律型エージェントが「エンドツーエンドの攻撃」を仕掛けたことを突き止めたと説明しています。