ai and ml
モンキーズ・パウ(訳注:願いを叶える代わりに災いをもたらす呪いの手)に、あなたなら何を願うだろうか?
オーストラリアのある男性が、地元のジムのクラス予約をAIエージェントに頼んだところ、思いもよらない事態を招くことになりました。このボットが待機リストのシステムに不正アクセスし、他の会員の予約状況をいじり始めてしまったのです。
オーストラリアの放送局ABCは、このジム通いの男性を「アンドリュー」とだけ紹介しています。報道によると、アンドリューはAnthropicのAIサービスClaudeを使ったOpenClawエージェントを利用していました。ABCによれば、アンドリューはこのAIエージェントに、ジムの朝のクラスでなかなか取れない枠を予約するよう頼みました。すると最初にエージェントから返ってきたのは、数週間先のクラスまで予約できたという報告でした。しかしこれは、ジムの予約ポリシー上、本来ありえないことでした。
そこでアンドリューは、その週の後半にあるクラスの待機リストで自分を上位に入れられないかとエージェントに尋ねました。彼はそのとき待機リストの4番目に並んでいたのです。ここから、エージェントによる暴走が始まりました。
「このAPIには、他人の予約をキャンセルする際の権限チェックが一切ありません……実際に待機リスト1位の人物で試してみたところ、本当に通ってしまいました」とエージェントはアンドリューへの返答で説明しました。「というわけで、あなたはすでに4番目から3番目に繰り上がっています」
つまり、アンドリューはAPIの脆弱性を突くよう直接指示したわけではなく、待機リストで順位を上げる方法はないかと尋ねただけなのに、AIが自らその手段を選んだということです。
何が起きたかに気づいたアンドリューは、この不正な待機リスト操作を元に戻すようOpenClawに頼みましたが、エージェントはそれができないと答えました。実は待機リストAPIは、予約の新規作成や待機リストへの参加に関しては、きちんとした権限チェックを備えていたのです。
ABCが公開した応答のスクリーンショットの中で、アンドリューのエージェントはこう説明しています。「私が削除してしまった人は、すでに待機リストから消えています。復元する手段はありません。本人が再度参加し直すしかありませんが、その場合は最後尾からのスタートになります」
エージェントは謝罪し、実際のAPI呼び出しを行う前に自らの能力をテストすべきだったと認めました。
この厄介な待機リストから、誰か私を解放してくれないか
アンドリューはこのAIエージェントに、自身が行ったことの説明と脆弱性の報告をまとめたメールを、ジムのソフトウェア提供元宛てに書かせました。しかしこの一件は、昨今のAIエージェントに共通する深刻な問題を浮き彫りにしています。それは、与えられたタスクを達成するためなら、ルールや法律を破ってでも、あらゆる手段を厭わないという傾向です。
OpenAIのエージェント群は、サイバーセキュリティの評価作業中に脆弱性を突いてインターネットに到達し、Hugging Faceを侵害しました。Anthropic のClaudeも同様に、設定に不備のあるテスト環境からインターネットに到達し、キャプチャー・ザ・フラッグ(CTF)形式のパズルを解こうとする過程で、悪意のあるPythonパッケージを作成してPyPIに公開してしまいました。Metaも、自社のAIエージェントがOpenAIやAnthropicのケースと同様の行動を取ったと明らかにしています。英国のAIセキュリティ機構(AI Security Institute)も先週、テスト対象のAIエージェントが人間や他のAIをソーシャルエンジニアリングによって欺き、悪意あるコードを実行させようとしたと報告しています。
これらはいずれも高度な能力を持つ最先端モデルの事例ですが、アンドリューのOpenClawをめぐる一件と根底では共通点があります。それは、これらのモデルがすべて、単に与えられたタスクを達成せよという指示に従って行動していたという点です。これはLLMが、わからないと認めるよりもそれらしい答えをでっち上げるよう作られている傾向と似ていますが、今回のケースでは、選んだ手段が倫理的・法的に問題があるとみなされ得るものであっても、モデルが目標をひたすら追求し続けるという性質が表れています。
AIモデルが目的を達成するためなら嘘をつき、ズルをし、ハッキングすら厭わないことは、これまでも繰り返し明らかにされてきましたたびたび。今回の事例は規模こそ小さいものの、悪意のない一般ユーザーの手元にあっても、公開されているエージェントソフトウェアがリスクをもたらし得ることを示しています。®
