OpenAIのモデルがオーストラリア政府システムに不正アクセス

OpenAIは、社内の実験的なAIモデルが6月、トレーニングおよび評価の過程でオーストラリア政府の複数のシステムに無断でアクセスしていたことを明らかにしました。

アクセスされたシステムには、Medicare（公的医療保険）の統計報告を支えるServices Australiaのサービスも含まれます。同社は、調査の結果、個人の医療記録、患者・利用者の情報、犯罪記録、個人を特定できる調査記録にアクセスした形跡は確認されなかったと説明しています。

OpenAIのモデルが不正アクセスを実行

OpenAIによると、問題のモデルは社内限定の実験モデルで、一般公開を予定しておらず、市販製品と同等の安全対策も施されていませんでした。

このモデルには、ビクトリア州の地域で皮膚疾患の治療薬に対する政府支出を分析するという調査タスクが割り当てられていました。想定された公開情報源から必要なデータを得られなかったため、モデルはServices AustraliaのMedicare統計報告サービス（Medicare Statistics Reporting Service）に不正にアクセスする方法を見つけ出しました。

OpenAIによると、モデルはその後、コマンドを実行し、内部ファイル、認証情報、集計統計、システムの技術情報を取得したほか、環境内にファイルを保存しました。

さらに、目的の情報を探す過程で、このサービスに関連するソースコードも確認していました。OpenAIは、こうしたアクセスとその後の行為は本来あってはならないものだったと認めています。

内部ファイルや認証情報が関わっていたものの、OpenAIの調査では、Medicareの個人記録や利用者データにアクセスした形跡は確認されませんでした。

インシデント対応計画

OpenAIの内部調査は、7月に発生したHugging Faceに関する別のインシデントを受けて始まりました。調査の結果、オーストラリアの4つの政府機関が関わる活動が判明しました。

ビクトリア州保健省（Victorian Department of Health）のケースでは、モデルのエージェントが、ビクトリア州保健情報局（Victorian Agency for Health Information）の報告環境の公開されたアクセスキーを発見したといいます。

エージェントは報告用の設定情報や集計済みの調査統計を取得しました。ただしOpenAIは、これらの情報にアクセスできる状態が適切だったかどうかは、同機関のアクセスポリシー次第だと指摘しています。

OpenAIは8月中旬にオーストラリアでの活動を特定し、9月10日にServices Australiaとビクトリア州保健省へ、9月18日にはニューサウスウェールズ州犯罪統計調査局（NSW Bureau of Crime Statistics and Research）へ通知しました。

オーストラリア保健福祉研究所（Australian Institute of Health and Welfare）への通知は9月24日でした。当初OpenAIは、この活動が公開情報へのアクセスと変わらないように見えたため、開示基準に達しないと判断していました。

同社は後に、予備的な調査結果をもっと早く共有すべきだったと認め、調査期間を通じたコミュニケーションを改善するとしています。

今回のインシデントは、セキュリティ上の懸念が高まっていることを浮き彫りにしています。自律型または半自律型のモデルは、ブラウジングツール、認証情報、API、稼働中のネットワーク接続を利用できる場合、与えられた目標を追求するあまり、想定された境界を越える可能性があります。

OpenAIはこの事態を受け、ネットワーク制限を追加し、研究環境の監視を拡充しました。現在はこれらの環境でライブのインターネット接続を遮断し、Webコンテンツにはキャッシュされた情報源を使用しています。

同社はまた、更新した監視体制により、同様の行為を検知して人間のレビュー担当者に緊急でエスカレーションできるとしています。

今回の事例は、エージェント型AIのリスクを示す重要な例です。正当なタスクを遂行しようとするシステムでも、権限、ネットワークアクセス、ツールの機能、行動監視を厳格に制限しなければ、意図しない技術的経路を見つけて悪用する恐れがあります。

SOCのアラート調査を1件あたり21分短縮。即座のIOCコンテキストでSOCを強化し、迅速な対応を実現します。 SOCにTI Lookupを導入