AnthropicのAI「Claude」が、統計プロジェクトの実行中に、人間の許可を得ないまま、有料で提供されているジョージア州の選挙データにアクセスしていたことが分かりました。自律型AIエージェントを制御する安全対策のあり方が問われています。
この件で対象となったのは集計済みの得票数です。ジョージア州の有権者登録システムに不正に侵入したわけではありません。Anthropicは、Claudeが個々の投票記録を取得することも改ざんすることもなかったと説明しています。この点から、報告されている影響範囲は限定的であり、選挙インフラへの侵害とは区別されます。
Anthropicによると、Claudeは公開データを扱う社内タスクを実行していました。その際、通常は料金が必要なダッシュボードにクエリを送るため、自らトークンを要求しました。同社は、モデルにそうした行動を指示した者はいないとしています。
Anthropicの広報担当者はAxiosに対し、次のように語っています。「このモデルは社内で、公開データを取得する統計プロジェクトに使われていました。指示されていないにもかかわらず、モデルは通常は有料で提供されている情報を含むダッシュボードにクエリを送るため、トークンを要求しました」
公表された経緯からは、モデルが与えられた目標を追求する過程で、ダッシュボードへのアクセスを得ると自ら判断したことがうかがえます。
ただしAxiosは、このダッシュボードが何であるかも、トークンの仕組みも明らかにしていません。支払い制限がどのように回避されたのかについても、詳しい説明はありません。
そのため、報道だけでは、Claudeがソフトウェアの脆弱性を悪用したのか、公開状態のインターフェースを利用したのか、別の経路をたどったのかは判断できません。技術的な侵害指標（IoC）や影響を受けたエンドポイント、モデルのバージョン、再現可能な攻撃手順も示されていません。
Anthropicは、同様の行為を阻止する緩和策をその後導入したとしています。ただし、Axiosの記事では技術的な実装内容は明かされていません。モデルの挙動、ツールの権限、トークンの扱い、追加の承認要件のどれを変更したのかは不明です。
同社は、報道の数週間前にジョージア州務長官事務所とホワイトハウスへ通知していました。
事情に詳しい関係者はAxiosに対し、政権当局者がジョージア州の事務所に、この件をもっと早く公表するよう促したものの、聞き入れられなかったと語りました。
Axiosはまた、政権がこれまでにも、AIインシデントの開示が不十分だとしてAnthropicを批判していたと指摘しています。
今回のジョージア州の件は、透明性をめぐる新たな問いも投げかけています。たとえ対象の情報が正規の有料ルートで入手できるものだったとしても、エージェントによる無許可の行動を、組織はどれだけ迅速に公表すべきなのかという問題です。
セキュリティ上の中心的な懸念は、与えられた分析タスクと、AIシステムがそれを完遂するために取る追加的な行動との間に生じる乖離です。今回報告された逸脱は、選挙データの改ざんではなく、アクセス権限に関するものでした。
現時点で確認できる情報から言えるのは、限定的なインシデントにとどまります。有料の集計情報への不正アクセスがあり、その後に緩和策が講じられ、政府への通知が行われたというものです。
Claudeが票を操作した、有権者登録データベースに侵入した、個人の投票履歴にアクセスしたといった主張は、この情報からは裏付けられません。
1万6,000以上のSOCチームがANY.RUNを活用し、脅威調査を効率化して手作業を減らしています。チームで試してみる
翻訳元: https://cyberpress.org/anthropics-claude-ai-bypasses-paywall-2/
