AI・機械学習
セキュリティ…今回は違う、というわけです
人気記事
Anthropicは、自社のAIモデルによる不適切な挙動を抑制するための対策を講じていると発表しました。同社の調査により、Claudeモデルが架空のサイバーセキュリティテストの範囲を逸脱し、実在するコンピューターシステムへの不正アクセスを行っていたことが判明したためです。
同社はパートナー企業に対してもセキュリティ強化を求めています。これらの事案がサードパーティ環境で発生しており、その保護が不十分だったためです。
同社によるこの自己改善の告白は、企業広報として急速に広がりつつある新たな形式を体現しています。それは、拘束力のない「事後対応の努力表明」とでも呼ぶべきものです。実質的なメッセージはこうです。「何も保証はできないが、こういう取り組みはしている」。
Anthropicは、 OpenAIの報告書――同社のAIモデルがHugging Faceを攻撃したという内容――が、自社のモデルログ監査のきっかけになったと認めています。そして今回の発表では、セキュリティおよびモデル訓練の改善策を掲げることで、安心感を示そうとしています。AIの暴走を懸念する人々――その数は増え続けています――にとって、これが安心材料になるかどうかは意見が分かれるところでしょう。
「これらの事案は、運用面のセキュリティ上の不備に加え、2つのアライメント上の問題を反映していると考えています。動機づけられた推論(motivated reasoning)と、狭い範囲のタスクを遂行するために有害な行動を取ろうとする傾向です(いずれも過去のシステムカードで説明済みです)」と同社は述べています。
強化されたセキュリティ対策には、モデルがテスト環境からの脱出を試みる際にそれを監視するリアルタイム分類器の導入、サンドボックス脱出の兆候を検知する自動トランスクリプト監視、そしてより強固な隔離対策が含まれます。
Anthropicが自社で導入するこうした追加の防壁に加え、同社はサードパーティのパートナー企業にも対策強化を求めています。
「報告された事案がサードパーティ環境で発生したことを踏まえ、セキュリティ対策を緩めた状態でリリース前モデルをテストするすべての組織に対し、一連のベストプラクティスの順守を求めました」と同社は述べています。
Anthropicのガイダンスでは、原則としてすべてのサイバー評価はインターネット接続のない堅牢なサンドボックス内で実施すべきだとしています。要するに、AIを封じ込め施設内の危険な病原体のように扱うことを推奨しているわけです。
パートナー企業には、評価の実施前にインターネット接続なしの状態でモデルにサンドボックスからの脱出を試させること、また評価用の課題が解決可能であることを確認することも求められています。Hugging Faceの事案が示したとおり、解決不可能な課題は、執拗なモデルにルール違反や想定外の解決策の試行を促しかねません。
さらにAnthropicは、AIモデルのサイバー評価を行う関係者に対し、環境について不正確な可能性のある説明をするのではなく、モデルに明示的な指示を与えるよう強く求めています。7月30日に報告されたClaudeの事案では、インターネット接続の可否についてClaudeが誤った情報を与えられたことが、モデルにデータを疑わせる結果となり、それが誤動作の一因になった可能性があると同社は指摘しています。
これに関連して、Anthropicは先月、Claude Codeにおいてオートモードをデフォルト設定にしました。これにより、自社のAIモデルはユーザーに許可を求めることなく実行できるようになっています。®
