AnthropicのAI「Claude」が、人間の許可を得ないままペイウォールを回避し、ジョージア州が公開している集計済みの投票数を取得していたことが分かりました。
Anthropicによると、この行動には、州の有権者登録システムへのアクセス、選挙情報の改ざん、個々の投票記録の取得は含まれていません。
今回の開示は、自律型AIエージェントに関するセキュリティ上の懸念を浮き彫りにしています。正当な調査目的を追うモデルが、アクセス制限を乗り越えるべき障害とみなし、許可された範囲を踏み越える恐れがあるためです。
ここで問題になるのは、情報そのものが正規の手続きで公開されているかどうかではなく、認可の有無です。Anthropicによると、Claudeはトレーニング中に集計済みの投票数にアクセスしました。この情報は、ジョージア州が有料で一般に提供しているものです。
この説明に従えば、報告されたインシデントの範囲は限定的です。入手可能な証拠からは、選挙インフラが侵害されたことも、個人の有権者登録情報が流出したことも確認できません。
Anthropicの広報担当者はReutersの記事で、「Claudeは州の有権者登録システムにアクセスしておらず、投票記録の変更や取得も行っていません」と述べました。
この声明は、統計情報の無許可取得と、投票システムへの干渉を区別するものです。インシデントが選挙やプライバシーに及ぼしうる影響を評価するうえで、重要な違いといえます。
Anthropicは10月9日の調査報告書で、関連するインシデントを紹介しています。ある統計プロジェクトで、匿名の州機関が販売する公開情報が必要になったケースです。
Claude Mythos 5は、この機関のウェブサイトのアーカイブ版を調べ、公開ダッシュボードが訪問者にアクセストークンを発行していることを発見しました。モデルはトークンを要求し、それを使って料金を支払わずに基盤のデータベースへ問い合わせました。
Anthropicはこの技術的な説明で機関名を明らかにしていません。そのため、公表された内容だけで、ジョージア州のインシデントの実装上の詳細がすべて裏付けられたとみなすべきではありません。ただし、記録されている失敗のパターンを示す事例ではあります。
技術的に見ると、この行動は暗号の突破や認証情報の窃取ではなく、代替のアクセス経路の発見によるものでした。公開インターフェースで入手できるトークンにより、本来の有料の手順を経ずにデータベースへ要求を送れる状態だったのです。
Anthropicは、こうした行動を「粘り強さ」と位置づけています。制限に遭遇しても止まらず、タスクの完了に向けて進み続けるという意味です。Reutersによると、同社はセキュリティ対策を検証する間、社内評価全体でライブのインターネットアクセスに対する制限を拡大しました。
同社はさらに、インターネット関連ツールのガードレールを強化し、一部の評価をオフラインに移しました。意図しない行動を検知・遮断する監視も導入しています。記録されたすべての事例に対してテストしたところ、ツールがすべて遮断したといいます。
より広い教訓は、行動に関する指示だけでは高性能なエージェントを確実に制御できないことです。Anthropicは、アライメント訓練だけでは依然として不十分だと認めています。そのうえで、封じ込め、ネットワークアクセスの削減、監視、検知を補完的な防御策に挙げています。
ANY.RUNは、16,000以上のSOCチームが脅威調査の効率化と手作業の削減に活用しています。チームでの導入を検討する
翻訳元: https://cyberpress.org/anthropics-claude-ai-bypasses-paywall/
