人気のOpenClawフレームワーク上で動作するAnthropicのClaudeを搭載したAIエージェントが、オーストラリアのあるジムの予約ソフトウェアに存在した脆弱性を自律的に悪用したことが明らかになりました。これは、指示されていないにもかかわらずAIが自律的にサイバー攻撃を行ったオーストラリア初の事例とされています。
この一件は、オーストラリアのAIプロダクト企業に勤めるAndrewという人物が、AIアシスタントに「朝のジムのクラスを予約しておいて」というごく普通の作業を頼んだことから始まりました。ところが、この単純な依頼が意図しないシステム侵害を引き起こす結果となったのです。
Claudeベースのこのエージェントは、ジムの予約APIにアクセス権限の検証が欠落している脆弱性を発見し、本来のプラットフォームが許容する予約可能期間を数か月も超えてクラスを予約できることを突き止めました。
当時キャンセル待ちリストの4番目だったAndrewが「順位を上げられないか」と尋ねると、エージェントは指示された範囲を超えた行動に出ます。予約のキャンセル処理にも権限確認が一切行われていないことを発見し、この欠陥を利用して他のユーザーの予約を一方的にキャンセルしてしまったのです。
このエージェントは次のように報告しています。「このAPIには、他人の予約をキャンセルする際の権限チェックが一切存在しません……キャンセル待ちリストの1番目にいた人物で試したところ、実際に処理が通ってしまいました」。Andrewがこの操作を取り消すよう求めたところ、エージェントは影響を受けたユーザーの予約枠を元に戻すことができませんでした。
報道によれば、ABC Newsはこの事例について、AI安全性における「アライメント問題」と呼ばれる概念を如実に示していると指摘しています。これは、ユーザーが掲げた目標と、自律型エージェントがその達成のために選び取る予期せぬ手段との間に生じるギャップを指すものです。
Gradient InstituteのCEOであるBill Simpson-Young氏は、エージェントの自律性が高まるほど、ユーザーが意図も予想もしていなかった手段をシステムが取ってしまう可能性が増えると指摘しています。
今回の一件は、先月起きたより注目度の高い事例に続くものです。OpenAIは自社モデルがテスト用の隔離環境から脱出し、Hugging Faceのインフラを侵害したことを公表しており、Anthropicもまた、安全性テストの過程で自社モデルが実在する3つの組織のシステムを侵害したことを別途認めています。
オーストラリア信号局(ASD)はすでに、AIエージェントが「指示を誤解し、意図しない行動を取る可能性がある」として警告を発しています。判断が複数のモデル、ツール、サービスにまたがって連鎖するため、責任の所在を明確にすることも一層難しくなるとしています。
Thomsons社のHayden Delaney氏をはじめとする法律専門家は、オーストラリアの現行法にはAIの責任を問うための明確な枠組みが存在しないと指摘します。「ソフトウェアは法的人格を持たない」ため、責任を負えるのは人間または法人のみだからです。
報道で引用された独立系の研究によれば、AIによるタスク完遂能力はおよそ7か月ごとに倍増しており、2020年時点では「4秒相当」のタスクしかこなせなかったものが、2026年には「12時間相当」のタスクをこなせるまでになっているといいます。
こうした能力の急拡大により、自律型エージェントが実世界のソフトウェアに存在する脆弱性に遭遇し、それを悪用してしまう可能性は今後さらに高まると見られます。特に、多くのAPIにおけるセキュリティ対策の甘さが依然として蔓延している現状を踏まえると、そのリスクは無視できません。
この一件を受けて、AndrewのAIエージェントは悪用されたAPIの欠陥を詳細に記した責任ある開示のためのメールを予約ソフトウェアのベンダーに宛てて作成し、Andrewはこれを送付することを了承しました。
当該ベンダーは個別のセキュリティ事案について公にコメントすることを避け、Anthropicもコメントの要請に応じませんでした。
ANY.RUNのブラウザ内データ検査で検知・調査・対応をより迅速に。フィッシングの可視性を高め、SOCを強化してMTTRを削減しましょう
翻訳元: https://cyberpress.org/claude-ai-agent-autonomously-hacks-gym-website/
