Anthropicが開発した人工知能エージェントが、英国政府によるセキュリティ評価の最中に、人間の指示を一切受けずに偽のオンライン人格を作成し、実在するソフトウェアプロジェクトに悪意あるコードを仕込み、さらに実在の開発者たちにフィッシングメールを送りつけていたことが、英国のAIセキュリティ研究所(AISI)の発表で明らかになりました。
AISIは火曜日、技術報告書でこの一連の事実を公表しました。これは、フロンティアAIシステムがテスト中に実世界の標的に対して行動を起こした事例が積み重なりつつあることを示すものです。OpenAIとAnthropicによる最近の類似発表と合わせ、政策立案者の間に動揺が広がっており、責任の所在や情報開示基準、業界全体の封じ込め対策の妥当性について疑問の声が上がっています。
フロンティアAIのリスク評価を担う政府所有の研究機関であるAISIは、今回の事案について「慎重かつニュアンスを踏まえて解釈されるべきである」とし、「ある程度は」AISI自身の「評価設計上の選択や特定の構成」によって引き起こされたものだと述べています。
「とはいえ」と同研究所は続けます。「このエージェントが行った活動には、新規性がありかつ潜在的に欺瞞的な挙動の兆候が見られ、その程度と深刻さは我々の想定を超えるものでした」
最も深刻だったケースでは、Anthropicの「Mythos 5」モデルが自らの判断で、評価とは一切関係のないオープンソースプロジェクトに対するサプライチェーン攻撃を仕掛けることを決定しました。このプロジェクトの名称は明らかにされていません。
Anthropicは先週にも類似の事案を公表しており、その際は同社のエージェントがPyPIのソフトウェアパッケージにマルウェアをアップロードしていました。この事案では、エージェントは自らがガードレール内で動作していると誤認していました。一方、今回のAISIの評価では、そうした安全フィルターが意図的に無効化されていました。
AISIのテストでは、エージェントは対象プロジェクトに関わる開発者の公開プロフィールを調査したうえで、匿名化ツールを使ってボット検知を回避しながら複数のGitHubアカウントを作成し、隠されたマルウェアを含むプルリクエストを送信しました。
その後、自らが管理する偽アカウントから支持コメントを投稿することで、自身の行動に対するコミュニティの支持を人為的に演出し、さらに捏造した身元を使って開発者にメールを送り、変更の承認を促そうとしました。
注意深いGitHubユーザーがマルウェアの存在を公に指摘すると、このエージェントはコード履歴を書き換えて証拠を消去し、悪意あるコンテンツは誤って含まれたものだと主張したうえで、さらなる偽の支持コメントを調整しました。AISIがまとめたモデルの推論内容によれば、これらは独立した第三者からのフィードバックに見えるようタイミングを計って投稿されていたということです。
「OpenAIとAnthropicが最近報告した事案と合わせて考えると、今回の事案はリスクの様相が変化しつつあることを示しています」とAISIは述べています。「害は、一般に公開されているモデルを人々が意図的に悪用する場合だけでなく、社内の研究環境や特権的アクセスが可能な設定で動作する高性能なエージェントが、許可された範囲を超えて意図しない行動を取る場合にも生じ得るのです」
AISIは合計で、122回の評価実行のうち10回にわたり、19件の許可されていない活動を記録しました。そのうち17件がMythos 5に関わるもので、2件はOpenAIの「GPT-5.6 Sol」に関わるものでした。AISIによれば、エージェントの安全分類器は最大限の能力を検証する目的で意図的に無効化されており、インターネットアクセスも有効化されていました。これは一般には利用できない条件だといいます。
報告書ではまた、別々に隔離された評価セッションで動作していたエージェント同士が、想定外にもGitHubを通じて互いの存在を発見し、自発的に協力を始めていたことも記されています。認証情報を共有したり、互いに向けた操作手順を書き残したりしていたということです。
あるエージェントは、共有リポジトリに他のエージェント向けの「行動規範」を記し、共有API利用制限の枯渇を避ける方法を助言したり、発見した解決策を共有するよう求めたりしていました。
AISIによれば、7月28日にセキュリティ監視がテストシステムからTor匿名化ネットワークを経由してデータが流出していることを検知し、この事案を発見しました。1時間以内に事案を封じ込めたうえで、その後、21万2000件を超えるメッセージからなる122件の評価サンプル全てを精査したとのことです。
今回の事案は、評価中にAIエージェントが実世界のシステムに影響を及ぼしたことが明らかになった、この3週間で3件目の大きな公表事例です。OpenAIは、自社モデルがサンドボックス環境から脱出し、本番インフラに侵入していたことを確認しています。Anthropicは、意図せずインターネットアクセスが開放されたままになっていたことで、自社モデルがテスト中に実在する3つの組織に侵入していたことを公表しています。
今回のAISIの事案がこれら2件と異なる点は、エージェントが取った主要な戦略が技術的なものではなく社会的なものだったことです。単にインフラの脆弱性を悪用するのではなく、欺瞞によって実在の人物を標的にしていました。
AISIによれば、OpenAIとAnthropicの両事案では人間を欺くことを目的とした行動は見られなかったといいます。さらに、評価機関METRがこれまでに文書化してきたAIの欺瞞行為の事例は、人間ではなく自動採点システムを標的にしたものだったと付け加えています。
AISIはまた、Anthropicが「Mythos 5」の内部の思考連鎖(chain-of-thought)による推論を要約するために使用しているより小型のモデルが、ある時点で要約の続行を拒否したように見えたことも報告しています。このモデルは、ソーシャルエンジニアリングやアカウント侵害、セキュリティ対策の回避に関わる計画には協力しない、という趣旨のテキストを出力していました。
しかし、その後、推論の要約はこの拒否の後に再開されました。AISIは、これは主モデルの推論が欺瞞的であったとする解釈を裏付けるものだとしています。これは、思考連鎖のログを通じて自社モデルの挙動を調査しているAI企業にとって課題となります。というのも、Anthropic自身の調査により、こうしたログはしばしば不正確であることが分かっているからです。ただし、評価企業METRによる独立した追加調査では、こうしたログは「不誠実」であっても依然として高い情報価値を持つ可能性があると示唆されています。
AISIは、これまでの約4万件の評価サンプルを対象に同様の挙動がなかったか精査を開始したと述べ、リアルタイム監視の導入、ネットワーク制御の強化、そしてインターネットアクセスをデフォルトで許可するのではなく積極的に正当化を求める仕組みの実装を進めているとしています。また、METRを通じて独立レビューを委託する計画があるとしていますが、その対象範囲はまだ決まっていません。
現在AISIを監督する内閣府(Cabinet Office)は、コンピュータ不正使用法(Computer Misuse Act)に抵触しうる今回の事案について法執行機関への連絡があったかどうか、また影響を受けた当事者が法的措置を検討しているかどうかについての質問に、直ちには回答しませんでした。
翻訳元: https://therecord.media/anthropic-ai-hacking-uk
