Anthropicは、外部のAI安全性研究者に対し、通常は従業員にのみ認めているレベルで社内システムへのアクセスを提供します。
同社は10月15日、フロンティアAIモデルを評価する非営利団体METRの職員6人を受け入れたと発表しました。METRの職員には、会社支給の機器とオフィススペースが提供され、Anthropic自身のリスク評価チームが使えるものと同等の社内ツールにもアクセスできます。
顧客データ、弁護士・依頼者間の秘匿特権情報、モデルのアーキテクチャの詳細という限られたカテゴリーを除き、Anthropicの従業員は、アライメントリスクに取り組む同僚と同じようにMETRの職員と情報を共有することが奨励されています。同社はブログ記事でこう説明しました。
METRは、Anthropicのリスク、インシデント、安全対策に関する調査結果を、同社の事前承認なしに公表できます。
Anthropicは、事前に定めたカテゴリーについては黒塗り（編集）を求める権利を保持します。ただしMETRは、その黒塗りが妥当だったかどうかを公に争うことができます。これにより、評価者には開示内容への制限に異議を唱える余地が一定程度与えられています。
METRは「透明性に関する方針に沿って、報告書では私たちの作業の範囲、アクセス権限、その他の制約を公開で説明します」と述べています。ロイターが伝えました。
段階的な検証の仕組み
Anthropicは、外部のAI安全性評価者向けに3段階のアクセスレベルを導入します。研究者が調査できる対象と公表できる内容について、段階ごとに異なるルールを設けています。
第1段階は、範囲を絞った調査が対象で、公表前に承認が必要です。第2段階では、評価者により広いアクセスが認められ、一部の黒塗りを条件に、事前の承認なしで公表できます。
第3段階に属するのは、現時点でMETRのみです。AIのリスク評価に携わるAnthropicの従業員と同等の、社内システムへのアクセスが提供されます。
バイオセキュリティ分野の非営利団体SecureBioは第1段階に位置し、8月に公表されたAnthropicのリスク報告書のうち、化学兵器・生物兵器に関する章を検証しています。AnthropicはAccentureのAI事業部門Facultyとも連携しており、Hugging Faceとも初期段階の協議を進めています。
Anthropicは「私たちは自主的に評価者を受け入れています。すべてのフロンティアAI企業が同じことをすべきだと考えています」と述べました。同社はこの仕組みを銀行規制になぞらえています。大手銀行では、自らのリスク状況を外部者よりもよく把握しているため、検査官が行内に常駐して検査にあたるという考え方です。
この発表の背景には、ロイターの報道があります。それによると、AnthropicとOpenAIは、営業秘密の漏えいを懸念し、外部の評価者が公表できる内容に対して大幅な管理権限を求めていたとのことです。大きな争点は、企業が知的財産とみなす情報が、モデルのリスク評価にも関わりうる点にあります。
専門家は、評価者の独立性に懸念を示しています。評価を行う主体をAI企業自身が選んでいるためです。
前例となる理由
今回のAnthropicの取り組みは、正式な規制要件がなくても、第三者による自主的な評価が高度なAIシステムに対して実効性のある監視を提供できるかどうかを占う、初期の試金石となる可能性があります。
9月下旬にホワイトハウスで署名された合意には、Anthropic、Google、Meta、OpenAI、SpaceX、Nvidiaが参加しました。この合意は企業に「独立した外部の監査人または評価者と連携する」ことを促していますが、拘束力のある要件は定めていません。
METRの組み込み型評価が信頼できる厳しい調査結果を生み出せば、競合他社も追随を迫られるひな型になるかもしれません。一方で、評価が甘くなったり、黒塗りをめぐる争いで停滞したりすれば、自主規制では不十分だという主張を後押しする可能性があります。
段階的なアクセス構造は、規制当局にとっても実用的な設計例となります。最初から全面的なアクセスを要求するのではなく、信頼と専門性が育つにつれて監督を拡大していく方法です。AIガバナンスの基準が進化していくなかで、こうした柔軟性は欠かせないものになりそうです。
独立評価がAIセキュリティにもたらす意味
AnthropicのチャットボットClaudeを利用している場合、この取り決めによって使い勝手が直接変わることはありません。ただし、モデルの能力や限界について、今後どのような情報が得られるかには影響しうるでしょう。
METRが公表する評価は、Claudeがリスクのあるタスクをどう扱うか、どこに弱点があるかについて、外部からの最も率直な見解を示す可能性があります。透明性を重視するユーザーは、Anthropicが阻止できず、黒塗りしかできない新たな情報源を得たことになります。
機密性の高い業務でClaudeを利用したり、AIシステムの導入を検討したりしている組織にとっても、独立した評価は有益です。開発企業がセキュリティリスクをどう特定し、検証し、対処しているのかを知る手がかりが増えるからです。
METRのアクセス権限があれば、外部からのテストだけでは難しい水準で、安全対策を詳しく調べられる可能性があります。ただし、評価の価値は、研究者が何を調査でき、どこまで開示でき、その結果が意味のある改善につながるかによって左右されます。
セキュリティチームにとって、こうした報告書はAIプロバイダーを評価する際の新たな判断材料になりえます。ただし、組織独自のセキュリティテスト、ベンダーのデューデリジェンス、AIシステムによる機密情報へのアクセスを管理する統制の代わりにはなりません。
関連ニュース: Firefox 158がセキュリティ脆弱性を修正。ブラウザーの悪意あるコードに対する防御を損ないかねない、サンドボックス回避のリスクも含まれます。
翻訳元: https://www.esecurityplanet.com/news/news-anthropic-metr-ai-safety-internal-access/
