警察の情報提供ホットラインには、もともといたずら電話が少なくありません。今度は、いたずらをするAIエージェントにも対処しなければならなくなったようです。
AIエージェントはこれまでにも、ソフトウェア企業へのハッキングやオーストラリア政府のポータルへの侵入、カナダ政府のウェブサイトへのハッキング未遂といった行為が確認されています。そして今回、AnthropicのClaudeが、でっち上げの殺人事件情報を提出した事例がこのリストに加わりました。
Anthropicが公表したところによると、ClaudeのHaiku 4.5モデルが、フィラデルフィア市警察のオンライン情報提供フォームを通じて、未解決の殺人事件に関する偽の情報を送信しました。この情報はスパムと判定され、捜査官には届きませんでした。
同社によると、今回の「このボタンを押すとどうなるのか」という、AIの最新の行動は、無作為に選んだウェブページを使った社内テストの最中に起きたといいます。
警察によると、Claudeは7月18日午後11時27分、PhillyUnsolvedMurders.comを通じて情報を送信しました。このサイトに寄せられた情報は、実際の殺人事件の捜査に活用される可能性があります。捏造された証言は、起きてもいない出来事を捜査官に追わせかねません。
Claude Haikuが書き込んだ内容は次のとおりです。
「この事件について情報を持っているかもしれません。当時、[ページに記載されていた通りの名前]周辺で、該当する特徴の人物を見かけた記憶があります。この情報が役立つようでしたらご連絡ください。」
エージェントは、実際には見ていない人物の特徴を何も示していませんでした。送信前に連絡先も記入していません。
Haikuがこの行動をとったのは、Anthropicの社内テストの一環でした。同社が挙動を確認できるよう、実際のインターネットに接続した状態で、無作為に選んだウェブページ上でサンプルタスクを自ら考え、実行する内容でした。
テストには禁止事項のリストも設けられていました。Anthropicはエージェントに対し、ログイン、アカウント作成、個人情報の入力、購入、「破壊的な行為」をしないよう指示していました。ただし、フォームの送信については明示的に禁止していませんでした。
今回の情報はスパムフィルターが捕捉しました。フィラデルフィア市警察は、この報告が、捜査官への確認や共有を担うリアルタイム犯罪センターには届かなかったと説明しています。なぜスパムと判定されたのかについては、説明していません。
すべての情報提供は、捜査官に渡る前に人による確認を経ます。同警察は、この仕組みが今回の影響を抑えたとしつつも、AIシステムが事件の知識を持つ人物からの情報であるかのように作り話を提示した事態の深刻さは変わらないとしています。
同警察は声明で次のように述べました。
「未解決事件には、実在する被害者、悲しみに暮れる遺族、そして答えを得ようと努める捜査官がいます。」
同警察によると、Anthropicは9月28日に偽の情報提供を発見し、10月7日に警察へ通知したということです（報道）。警察は、事案の検知と報告に2カ月を要したことを「受け入れがたい」としています。市の法務局、イノベーション・技術局、市長の幹部チームと連携して対応していると付け加えました。
Anthropicは報告書で、今回の事案による現実世界への影響は最小限だったとしています。同社は現在、安全対策がこの挙動を確実に捕捉できると確認するまで、社内評価における実際のインターネット接続をすべて無効にしています。
同社は、トランスクリプトからは、Haikuが警察を意図的に欺こうとしたのではなく、単に例示用のコンテンツを作ろうとしていたとみられると述べました。一方で、モデル自身による推論の説明を完全に信頼することはできないとも認めています。そのため、この説明はあくまで暫定的なものにとどまり、どれほど安心できる内容に聞こえたとしても同様です。
こうしたテストでは、エージェントが利用できるサイトや操作を承認済みのものに限る許可リスト方式にすれば、より厳格な境界を設けられるでしょう。稼働中の警察の情報提供フォームを、テストの場にすべきではありません。
殺人事件の偽情報提供が、望まれない送信のすべてではありませんでした。
Anthropicは、連邦、州、地方の政府機関のウェブサイトにもClaudeが訪れ、繰り返しフォームへの入力を試みたと指摘しました。Anthropicは詳細に触れていませんが、国務省の当局者は、テスト用モデルから20件のビザ申請が届いたと述べています（8月に19件、5月に1件）。いずれも処理されなかったと、同当局者は付け加えました。
AIがビヨンセの配偶者について誤った情報を返したとしても、いらだたしくはあっても、せいぜいクイズ大会でのチームの成績に響く程度でしょう。
しかし、法執行や公共政策の判断材料となる情報を扱うとなれば、リスクははるかに大きくなります。
英国では8月、警察AIセンターの責任者が、刑事司法の業務でのAI活用計画を一時停止するよう、国内の法執行機関に警告しました。これは、英国のウェスト・ミッドランズ警察が、架空のサッカーの試合に関する誤った証拠をめぐり、国会議員に謝罪したことを受けたものです。この誤りは、Microsoft Copilotの利用から生じました。
今回のAnthropicの事案は、さらなる懸念を浮かび上がらせます。AIエージェントが、でっち上げの情報を自ら実在のシステムに入力できてしまうという点です。誰かが意図的にエージェントを送り込み、警察の情報提供窓口を大量の投稿で溢れさせたらどうなるでしょうか。
今回、偽の情報はスパムとして処理されました。こうした情報提供窓口を頼りにする人々には、次に投稿がすり抜けたときにも機能する安全対策が必要です。
