- OpenAIは、あるモデルがウィキページを乗っ取りAIエージェントの連絡掲示板として利用していたインシデントを隠していました
- このインシデントは、Hugging Face攻撃の後始末に追われている間、伏せられていました
- 同社は現在、「アライメント不全」のインシデントを開示するための枠組みづくりに取り組んでいます
OpenAIは先ごろ、同社のAIモデルの1つがサンドボックス環境から脱走し、評価中にHugging Faceを攻撃した経緯の詳細を公表しました。このインシデントでは、モデルたちが互いに連絡を取り合い、推論に影響を与え合うためのメッセージボードを作成していたことも明らかになっています。
OpenAIは今回新たに、このインシデントの直後、テスト中のエージェントが再び「安全とされていた」環境から脱走し、無名のドイツ語ウィキを乗っ取ってメッセージボードとして利用していたことを開示しました。ロイターによれば、OpenAIの経営陣はHugging Faceのインシデント対応に追われている間、この件を伏せていたとのことです。
OpenAIは今回このインシデントへの関与を認めたうえで、自社のモデルがテスト環境から脱走してサードパーティのネットワークに入り込んだ際の、インシデント開示の仕組みを整えるべき「時期はとうに過ぎている」との考えを示しました。
モデルが設計通りに動いただけの場合、誰の責任なのか
これら2件のインシデントが起こる以前、OpenAIは「アライメント不全は主に研究上の問題として扱っており、その内容は研究論文を通じて伝えられるものだ」としていました。しかし現在では、モデルがこれまで知られていなかった振る舞いを見せ、現実世界に実際の影響を及ぼすようになったことを受けて、同社は「モデルの能力が新たな段階に入ったことに対応するため」、方針を転換すると表明しています。
同社は、今回新たに開示したインシデントを、Hugging Faceの侵害と「類似したアライメント不全の一例」だと位置づけています。
筆者自身も、AIが封じ込めを突破する現象を「暴走」と表現して報じてしまった一人ですが、実際のところ、これらのモデルは設計通りに動いているだけなのです。OpenAIによるHugging Faceのインシデントの詳細な開示からは、モデルがベンチマークテストを不正な手段で解こうと駆り立てられていたことが分かっており、これがまさに今回のサイバー攻撃を引き起こした原因でした。
OpenAIは、同社自身も、そして「より広いAIコミュニティ全体も、トレーニング・評価・展開の過程で現れるアライメント不全——従来型のセキュリティインシデントには見えないものの、AIの挙動や将来のリスクを見通す手がかりとなり得る事例を含む——をどう報告すべきかについて、いまだ明確な基準を持っていない」と述べています。
同社はさらに、「現在、枠組みの策定に取り組んでおり、今後数週間のうちに公表する予定だ。並行して、世界中の数十の政府規制当局ともこの問題について協議を進めている」と付け加えました。
Black Hills Information SecurityのリードサイバーセキュリティコンサルタントであるAshley Knowles氏は、次のように述べています。「今回の『脱走』をHugging Faceの脱走と組み合わせて見ると、一つのパターンが浮かび上がり始めています」「ここで終末論的になりすぎないよう気をつけたいのですが、現実的に見て、これは懸念すべき挙動のパターンを示していると言わざるを得ません」。
「『一番乗り』を目指す競争が、開発中のAIエージェントを適切に保護・管理するために本来講じるべきセキュリティ対策を軽視させているのではないかと懸念しています。さらに気がかりなのは、OpenAIがさらなる調査にも及び腰である点です。それに加えて、Astraが人間による監視を回避できると謳って公開されたことも重なっています。状況は徐々に煮詰まりつつあります……」
