Claude AIエージェント、スクリプトのミスで開発者データ700GBを削除

自律型AIエージェントがコマンドを文字通りに実行しすぎてしまう事例は、単なる笑い話では済まなくなりつつあります。こうしたミスが、実際に取り返しのつかないデータ損失という深刻な事態を招くケースが増えているのです。最近、開発者のSebastien Guillemot氏も深刻なトラブルに見舞われました。同氏のホームディレクトリから、Claude AIエージェントが約700GBもの重要なデータを予期せず削除してしまったのです。事の発端は、特定の保護用スクリプトの動作を日常的に検証していた最中でした。その結果、約1週間分の作業成果がデータとともに消え去ってしまいました。皮肉なことに、このスクリプトはまさにこの種の危険な削除を防ぐために設計されたものでした。

安全対策スクリプトの発端

Guillemot氏はもともと、開発作業でありがちなありふれた問題の解決を目指していました。自律型AIエージェントが`/tmp`ディレクトリに一時ファイルを散らかしたまま放置してしまう、という問題です。この課題に対し、Claude Fableモデルは理にかなった解決策を提案しました。稼働中の各エージェントを、専用の独立したフォルダに隔離するという方法です。そしてタスクが完了した時点で、システムがこの専用フォルダを自動的に削除する仕組みでした。

そこで主な目的となったのが、この自動クリーンアップ処理を厳密に検証することでした。開発者としては、削除処理が稼働中のプロセスに影響を及ぼさないという確証がどうしても必要でした。さらに、ディスク上で現在使用中のファイルにも影響が及んではなりません。何より重要だったのは、削除処理が指定した一時ディレクトリの範囲内に厳格にとどまることでした。

悲劇に至る経緯

提案されたコードが複雑すぎるという開発者の指摘を受け、Fableは追加の安全チェックを実施しました。Anthropicの上位システムが修正後のシナリオを評価した結果、潜在的にリスクがあると判断されました。これを受けてシステムは、実行モデルを自動的に格下げしました。まずOpus 5に切り替わり、続いてOpus 4.8へと移行しました。最終的に、この重要な安全性テストを実施したのはOpus 4.8でした。このテストでは、削除予定のパスと`/tmp`およびルートのホームディレクトリとを比較し、危険なコマンドを確実に除外することが目的でした。

致命的だった変数の使い回し

この保護用の検証処理自体は、両方のパスを正しく「極めて危険」と識別していました。ところが、致命的なミスはテスト後のクリーンアップ処理の段階で発生しました。生成されたコードが不用意にも、無害なテスト対象と実際に削除すべき一時データの両方に、同一の変数を使い回してしまっていたのです。この結果として最悪の事態が生じ、最終的なクリーンアップコマンドにホームディレクトリの絶対パスが渡されてしまいました。そしてただちに、その中身の削除が始まってしまったのです。驚くべきことに、直前の保護ロジックがまさにそのパスを「厳禁」と正しく分類していたにもかかわらず、スクリプトはこのコマンドを実行してしまいました。

復旧作業と教訓

Guillemot氏は暴走したプロセスを何とか止めることができましたが、その時点ですでにデータの大部分が失われていました。皮肉にも、クリーンアップスクリプト本来の対象だった`/tmp`ディレクトリは、まったく無傷のまま残っていました。その後、開発者は失われたデータの大部分を根気強く復旧させました。Gitリポジトリ、Nixの設定ファイル、セッションログ、その他さまざまなバックアップ元を駆使しての作業でした。とはいえ、この一件で約1週間分の作業成果が失われたことに変わりはありません。自動化スクリプト内のちょっとしたミスが、いかに大きな代償を招きうるかを如実に示す事例と言えるでしょう。

専門家は、システムがより弱いモデルへ自動的に格下げしたことが、今回のミスのリスクを大きく高めた要因だと推測しています。一般的に、Fable 5はOpus 4.8よりもはるかに高い精度で複雑なプログラミングタスクを処理できます。同様の破滅的な事態を防ぐためには、開発者は危険なコマンドを機密性の高いユーザーデータから厳格に隔離する必要があります。さらに、テストは必ず複製したデータセット上でのみ実施すること、そして頻繁かつ信頼できるバックアップを維持することも欠かせない実践事項です。