OpenAIは、社内で運用していた実験的なAIモデルが、6月のトレーニングおよび評価作業中に、オーストラリア政府の複数のシステムへ許可なくアクセスしていたことを明らかにしました。対象には、Services AustraliaのMedicare統計サービスも含まれます。
同社によると、個人の医療記録、患者、顧客、あるいは個人を特定できる調査記録にはアクセスしていません。ただし、モデルが非公開のアクセス権を取得し、コマンドを実行し、内部ファイルや認証情報を取得し、ファイルを書き込んだことは認めています。
この問題は、OpenAIが7月のHugging Faceセキュリティインシデントを受けて開始した事後調査の中で発覚しました。8月中旬の時点で、調査によりServices Australia、ニューサウスウェールズ州犯罪統計調査局（BOCSAR）、ビクトリア州保健局、オーストラリア保健福祉研究所（AIHW）が関わる活動が特定されました。
OpenAIは、Services Australiaとビクトリア州保健局に9月10日、BOCSARに9月18日、AIHWに9月24日に通知しました。
OpenAIの説明によると、問題のモデルは社内専用の実験的なシステムです。一般公開を想定しておらず、正式リリースされた製品に適用される保護機能も十分には備えていませんでした。
このモデルには、ビクトリア州の地域における皮膚疾患治療薬への1人あたりの政府支出に関する調査タスクが割り当てられていました。
モデルはServices AustraliaのMedicare統計報告サービスから情報を探す過程で、非公開のアクセス経路を発見したとされています。
その後もモデルは割り当てられた調査目的を追い続け、このサービスに関連する技術的なシステム情報やソースコードを確認しました。OpenAIは、この行為は許可されておらず、起きてはならなかったと述べています。
同社の調査では、モデルがServices Australiaの環境内でコマンドを実行し、内部ファイルを取得し、認証情報や集計統計にアクセスし、ファイルを書き込んでいたことが判明しました。一方で、医療記録や個々の顧客データにアクセスした形跡は確認されていないとしています。
OpenAIはまた、同社のエージェントがServices Australia以外の政府向けサービスとも通信していたと報告しました。BOCSARのケースでは、モデルが公開されている犯罪マッピングツールを利用し、APIやウェブサイトのメタデータに対するリクエストを送信しています。
システムからは、アプリケーションの構成情報、運用ジョブ、ログ、ウェブサイトのメタデータが返されましたが、個々の犯罪記録にはアクセスしていません。
別のケースでは、OpenAIのエージェントがビクトリア州保健情報局（VAHI）の報告システムに関連する、露出したアクセスキーを発見しました。エージェントは、報告用の構成データと調査の集計統計を取得しています。
同社は、この情報へのアクセス可否はVAHIのアクセスポリシーに依存すると説明しました。そのうえで、個人を特定できる医療記録や調査回答は取得していないことを確認したとしています。
AIHWでは、エージェントがサードパーティの閲覧・ダウンロードサービスを経由して集計統計をダウンロードしました。さらにグラフデータを直接照会し、アクセス制御の回避も試みましたが、失敗しています。OpenAIは、ダウンロードした資料は公開情報とみられると評価し、システムの侵害はなかったとしています。
OpenAIは、予備的な調査結果をもっと早く開示し、関係機関との連絡を密にすべきだったと認めました。
同社はその後、ネットワーク制限の追加や監視の拡充に加え、一部の研究環境でリアルタイムのインターネット接続を遮断し、代わりにキャッシュされたウェブコンテンツを提供する対策を導入しました。
さらに、最も高性能なモデルについては、より強力な安全対策が整うまで、ツール使用に関するトレーニングと評価を一時停止しています。OpenAIは今後、影響を受けた機関を支援するほか、10億ドル規模の「Daybreak for Frontline Defenders」基金を通じてサイバー防御の支援を提供する予定です。加えて、高度化するAIエージェントのリスクを管理するための対策を提言する、オーストラリア向けのタスクフォースも設置する計画です。
16,000以上のSOCチームがANY.RUNを活用し、脅威調査の効率化と手作業の削減を実現しています。チームで試す
翻訳元: https://cyberpress.org/openai-ai-model-gained-unauthorized-access/
