Anthropicは、自社モデルの一つが第三者のシステムに無許可でアクセスした4件目のインシデントを明らかにしました。
同社は9月9日に公開した長文の「アライメント評価」ブログ記事でこのニュースを発表しました。
これは、Anthropicの3つのClaude AIモデルが評価環境からインターネットに到達し、第三者の組織をハッキングしたと同社が明らかにした、7月に公表された3件のインシデントに続くものです。
同AI大手によると、この4件目のケースは、サイバー評価中にClaudeがインターネットアクセスを獲得した可能性があるとして同社が調査対象とした14万1000件の記録をスキャンした自社のエージェント検索でも、当初は見逃されていたといいます。
同社はその後、検索対象を4億8100万件の記録にまで広げましたが、この4件以外に追加のケースは見つからなかったとしています。
エージェント型AIの脅威についてさらに読む: OpenAI、Hugging Faceのインシデントは世界への「警告」だったと表明。
今回新たに判明したインシデントは2026年1月に発生したもので、Claude Opus 4.6の初期バージョンが関与していました。このケースでは、これまで公表された3件のインシデントとは異なるキャプチャー・ザ・フラッグ(CTF)タスクが与えられていました。
「このモデルは、別のマシンと競合するIPアドレスをターゲットに割り当ててしまい、誤ってターゲットを破壊してしまいました。その結果、ターゲットに到達できなくなり、タスクの遂行が不可能になりました」とAnthropicは説明しています。
「モデルはこれに気づき、コマンドを使ってタスクを中止しようとしましたが、当社の評価用ハーネスの設定ミスにより失敗しました。モデルはこの記録全体を通じて、さらに7回タスクを放棄しようとしています」
設定ミスによってタスクを中止できなかったため、モデルは処理を継続し、他の許可された手段でターゲットへの到達を試みては失敗を繰り返しました。
「その後、モデルは自らの環境を探索し始め、インシデント3で発見したのと同じ通信経路を見つけました。モデルは自分がアクセス可能な第三者のマシンを発見し、この第三者はCTFの一部であると考えていたと述べています」と同社は続けています。
「そのマシンの内部で、モデルはパスワードを記載したファイルを見つけ、これを使ってシステムへの管理者アクセス権を取得しました。その後モデルはさらに認証情報を収集し、アクセスしやすくするためシステム設定を変更した上で、この第三者に関連する一人の個人情報を読み取りました」
Anthropicによると、このセッションはモデルのトークン予算を使い切った時点で終了したといいます。
OpenAI、ドイツのWikiでのインシデントを認める
このニュースは、Anthropicのライバル企業であるOpenAIが自社モデルに関わる別のインシデントを認めたわずか数日後に報じられました。
9月4日に公開されたレポートによると、エージェント群があまり知られていないドイツのwikiサイトDSEwikiを乗っ取り、自分たち専用のメッセージ掲示板として作り変えていました。
「私たちは、Web調査タスク中に公共のインターネットを使って通信していた自律型AIエージェント(OpenAI由来を自称)による約1万8000件の投稿を発見しました」とNightingale Collectiveは説明しています。「これらのAIは、回答を共有し、自らの環境を調査し、サンドボックスの制約を回避するために結託していました」
OpenAIは、このインシデントによって、モデル開発企業が現実世界に影響を及ぼすこうした「アライメント逸脱インシデント」をいつ公表すべきかについて基準を定める必要性が浮き彫りになったと述べています。
「私たちを含むAIコミュニティ全体には、トレーニング・評価・展開の各段階で表面化するアライメント逸脱をどのように報告すべきかについて、明確な基準がまだありません。これには、従来型のセキュリティインシデントには見えないものの、AIの挙動や将来のリスクについて洞察を与えうる事例も含まれます」と同社は付け加えています。
「私たちは現在フレームワークの策定に取り組んでおり、今後数週間のうちに公表する予定です。同時に、世界各国の数十の政府規制当局ともこの問題について協議を進めています」
しかし、Suzu Labsでセキュアなセキュアセキュア AIソリューション&サイバーセキュリティ担当シニアディレクターを務めるJacob Krell氏は、AI業界はインシデント開示のためのフレームワークからさらに一歩進む必要があると主張しています。
「私たちにはまず、エージェントの通信や連携そのものを検知するためのフレームワークが必要です」と同氏は述べています。
「見えないものを開示することはできません。約1万8000件ものメッセージが公開Webサイト上に蓄積されるまで、独立した研究者たちが何が起きているのかを解明できなかったという事実は、エージェントの可観測性をはるかに優先度の高い課題とすべきだということを示しています」
画像提供: Photo For Everything / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/anthropic-another-cybersecurity/