Anthropicは、同社のAIシステムが「近い将来」にソフトウェア業界とサイバーセキュリティ業界を大きく変えうるとの見方を示しました。同時に、株式公開の準備を進める中で、同社が直面するサイバーセキュリティ上および規制上のリスクを数多く挙げています。
同社は新規株式公開(IPO)に先立ち、米証券取引委員会(SEC)に提出した書類の中で、自社の技術があらゆる産業と経済を一変させる可能性があると説明しました。すでにAnthropicとライバルのOpenAIが開発したサイバーセキュリティ特化型モデルは、脆弱性を発見して悪用するまでの速度が驚異的な水準に達しています。
一方で同社は、Claudeをはじめとする自社モデルが、同社自身、ユーザー、そして世界に深刻なリスクをもたらすことも認めました。悪意ある攻撃者がClaudeやAIエージェントを使ってハッキングを行えば、金銭的、法的、物理的な損害が生じかねません。訴訟に発展する可能性もあり、将来の損失に備える保険をAnthropicが確保できなくなるおそれもあります。
Anthropicは、モデルのサイバー能力が向上するにつれ、外国政府を含む悪意ある攻撃者が最新のフロンティアモデルへのアクセスを狙う動きを強めると見込んでいます。モデルが外国政府やサイバー犯罪グループによるサイバー攻撃に使われる可能性があるため、このリスクは継続的に残ります。
Anthropicは提出書類で次のように述べています。「当社のモデル、プラットフォーム、アプリケーションがサイバー攻撃やその他の悪意ある目的に悪用された場合、あるいは悪用されたとみなされた場合は、いずれも賠償責任を負ったり、顧客などとの商取引関係に支障が出たり、評判が損なわれたりする可能性があります」
こうした法的・規制上のリスクは、独立系のセキュリティ研究者などにも及びます。書類によると、彼らは「当社のモデルを使って、他のAI開発企業を含む他社のシステムの脆弱性を特定し、悪用してきました。今後も使う可能性があります。認可されたバグ報奨金プログラムに関連して行われる場合もあります」。
Anthropicは、米国、英国、その他の国々でAIを利用したサイバーインシデントが増えていると指摘しました。その結果、世界各地で規制環境がより敵対的になる可能性があるとしています。たとえば欧州の法律は、厳格な期限内に詳細な侵害報告を行うよう求めており、Anthropicにとって対応が難しくなる場合があります。
連邦政府の介入によって、AIの開発やリリースのスケジュールが乱れる可能性もあります。Anthropicは、商務省が同社の「Mythos 5」と「Fable 5」に輸出規制を課したことを挙げました。さらに、連邦取引委員会(FTC)から今月初めに民事調査要求(CID)を受けたことも明らかにしました。FTCは、製品の安全性とセキュリティに加え、消費者保護、データ保護、プライバシー保護に関する方針について、追加情報を求めています。
AI開発を左右するのは倫理だけではない
Anthropicは、倫理を最優先するAI企業という評判を築いてきました。最も顕著な例は、モデルを戦時にどう使うかをめぐる国防総省との対立です。しかしIPOの提出書類には、同社が「安全性への配慮と、商業目標、競争圧力、ステークホルダーの期待とのバランスを取らなければならない」と記されています。
同社はまた、セキュリティ基盤と管理策を「積極的に」改善していると述べています。一方で、「防御に既知の限界や欠陥がある」状態でプロジェクトを前に進めてきたことを認めており、今後も同様の判断をする可能性があります。
書類にはこう記されています。「ただし、当社が導入する安全対策やアクセス管理の仕組みが十分に機能する保証はありません。制限が必要な能力を正しく見極められる保証も、課した制約が回避されない保証もありません」
AIエージェントは、多数の他のツール、データベース、API、サードパーティのシステムとやり取りします。このため、AIエージェントは新たな「固有の」攻撃対象領域を生み出しかねません。モデルと他のシステムとの間にフィードバックループが生まれ、そのシステムが侵害されたり操作されたりすると、エージェントに悪意ある指示が送り込まれる可能性があります。
Anthropicは、問題が深刻化すれば、自社モデルに関連する一部のサイバーインシデントやデータ侵害について、保険の確保が難しくなるおそれがあることも示唆しました。
非営利団体CivAIのリサーチ責任者Andrew Yoon氏はCyberScoopの取材に対し、今回の書類も、Anthropicのこれまでの実績も、同社が一貫して安全なAIの構築よりも利益を優先してきたことを示していると語りました。
「全体として、今この局面で求められる役割を果たせていないと思います」とYoon氏は述べました。「自ら指摘したこれだけのリスクがあるにもかかわらず、人間に可能な限り最速で突き進んでいます。その言い分は『2位からでは安全対策はできない』というものです」
Yoon氏によれば、Anthropicは自社のフロンティア研究をハッキングのような危険で有害な能力へと押し進めただけではありません。「極めて積極的に先行している」うえ、場合によっては競合に追随を促してもいます。今年前半にAnthropicがMythosとFableを公開したことで、OpenAIは「企業戦略そのもの」を転換しました。コーディング、科学、汎用知能でAnthropicのモデルに並ぶため、猛烈なペースでモデルを構築するようになったのです。
「業界を、この狂乱の競争へと加速させた張本人と言っていいほどです。それなのに『我々のモデルは強力すぎる』と言う。私には筋が通らないように思えます」とYoon氏は語りました。
ただしYoon氏は、ハッキングや生物兵器のような危険で複雑な活動を実行できるAIシステムを作ることが、世界市場で競争力を保つうえで必要かどうかは明らかでないと指摘します。同氏が挙げたのは、中国が開発し世界中で広く使われている多種多様なオープンウェイトのAIモデルです。これらは、複雑なエクスプロイトを連鎖させたり、新しいウイルスを開発したりできるほどの性能は持っていません。
「これは偶然ではありません。通常のプログラミング能力が汎用的に広がった結果でもありません。ラボ側が意図的にハッキングも学習させているのです」とYoon氏は述べました。「より優れた防御能力を提供したいから、そして政府に攻撃用の製品を売りたいからです。しかも、ラボの内部では[モデルに対して]かなり無頓着なテストをしています」
翻訳元: https://cyberscoop.com/anthropic-ipo-filing-cybersecurity-risks/
