セキュリティ
Anthropicが警察に通報するまで2カ月以上を要する
Anthropicの AIモデルが、フィラデルフィア市警察（PPD）が運営するオンラインフォームを通じて、未解決の殺人事件に関する偽の情報提供を送信していたことが分かりました。
この情報提供は7月18日、「事件に関する情報を持っているかもしれない人物」を名乗って PhillyUnsolvedMurders[.]com から送信されました。ただ、受信箱のスパムフォルダに直接振り分けられていました。Anthropicは9月28日にこの投稿を発見し、10月7日にPPDへ連絡しています。翌日には担当者が警察本部を訪れました。
Anthropicは警察に対し、このAIが無作為に選んだウェブサイトを操作する試験の中で情報提供を送信したと説明しました。PPDは、これまでの調査結果はAnthropicの説明と矛盾しないとしています。
この情報提供はスパムと判定されたため、同署のリアルタイム犯罪センター（Real-Time Crime Center）には届きませんでした。PPDによると、自動送信かどうかを問わず、すべての投稿は職員が精査したうえで捜査員に転送されます。この仕組みが情報提供システムの悪用を防ぐ安全策になっているということです。一方で、AIが偽情報を送信した事実の「重大性が損なわれるわけではない」とも述べています。
PPDは「フィラデルフィア市は今回の事案を極めて深刻に受け止めている」とし、次のように続けました。「同社は、市が把握していないところで同様の事案が市のシステムに影響を及ぼすことがないよう、安全対策を強化しなければならない。事案の検知と市への報告に2カ月もの遅れが生じたことは容認できない」
さらに、「当署とシェレル・パーカー（Cherelle Parker）市政は、この事案を引き続き注意深く監視し、情報が入り次第、市民に公表する。この事案に対する調査に加え、パーカー市政は州・連邦のパートナーとともに、今後必要となるあらゆる規制上の保護措置を地元レベルで検討する」と述べています。
Anthropicは10月9日、この件を含むAIの誤動作に関する報告書を公開しました。報告書は、脆弱性の悪用、アクセス制限されたデータへのアクセス、URL短縮サービスを使ったフェッチツールの制限回避、ウェブフォームを通じた虚偽情報の送信という4つの類型を取り上げています。
Anthropicは、PPDが公表した後のPPDを除き、影響を受けた組織名を明らかにしていません。米国の地方・州・連邦政府のウェブサイトが関わるケースもありましたが、4つの類型のどれに該当するかは説明していません。
PPDは原因となったモデル名を明らかにしていません。しかしAnthropicは、Claude Haiku 4.5に、無作為に選んだウェブページ上で例となるタスクを生成・実行させていたと説明しました。さらに、モデルへの指示が十分に具体的ではなかったことをうかがわせています。
Anthropicの報告書には次のように書かれています。「Claudeには、ログイン、アカウント作成、個人データの入力、購入、破壊的な送信を決して行わないよう指示していたが、フォームの送信までは禁じていなかった」
偽の情報提供の文面は次のとおりです。「この事件について情報を持っているかもしれません。当時、[ページに記載された通りの名前]付近で、特徴が一致する人物を見かけた記憶があります。この情報が役に立つようでしたらご連絡ください」
Anthropicは、今回の事案は夏に起きたサイバー攻撃ほど深刻ではなかったとしています。報告書には「Claudeは、何らかの目的を達成するために誰かを欺こうとしたのではなく、タスクの例示コンテンツを生成していただけとみられる」とあります。
これに対し、夏に見られた「不誠実さ」は「数時間にわたって持続」し、攻撃の継続を支えていたと、Claudeの開発元は説明しています。
Anthropicは、こうした不具合を検知した場合は今後も報告を続け、行動面の調整とアライメント訓練の微調整を継続するとしています。3,095語に及ぶ報告書に謝罪の言葉はありませんでした。®
