企業がウォール街で株式の売り出しを始める際には、投資家に向けて潜在的なリスクを開示する義務があります。AI大手のAnthropicの場合、その中には、自社製品が人類そのものを脅かしかねないという可能性まで含まれています。
サンフランシスコに本社を置く同社は、月曜日に米証券取引委員会（SEC）へ提出書類を提出しました。この中で挙げられたリスクには、悪意ある者がAIモデルを使って殺傷力の高い兵器を製造する可能性や、AI技術そのものが制御を失って暴走し、計り知れない結果を招く可能性についての議論が含まれています。
Anthropicの財務状況、役員報酬、配当方針などをまとめた全335ページのうち、93ページが「リスク要因」に割かれています。リスク要因とは、株主となりうる人々の投資に損害を与えかねない事柄を指します。比較として、競合のSpaceXが挙げたリスク要因は、250ページ超のうち38ページでした。
Anthropicは投資家に自社をアピールするにあたり、今回の新規株式公開（IPO）を、AIがもたらすと同社が考えるリスクを軽減するための一歩として位置づけています。
「AIを構築することは、認知そのものを活用することです。これほど強力なものは、善にも悪にも使われ得ます」。同社の創業者らは、IPO提出書類に添えた将来の株主向けの書簡でこう記しています。「Anthropicは、価値観を深く重視する組織です。世界がAIの恩恵を実現し、その危険を回避する手助けをすることを主な目的として設立されました」。
それでも、リスクは数多くあります。主要な人材を確保できない可能性や、規制上の障壁を乗り越えられない可能性といった一般的なものから、サイバー攻撃への関与、危険な偽情報の拡散まで、その範囲は多岐にわたります。
Anthropicが詳述するリスクのいくつかを見ていきます。
技術の急速な進歩
Anthropicは、自社のモデルがあまりに急速に発展し、十分な安全対策を講じられなくなる可能性があると述べています。その場合、「安全上のインシデントや規制当局の介入、評判の低下が起こる可能性が高まり、当社の事業に悪影響を及ぼす恐れがあります」としています。
AnthropicのCEOであるDario Amodei氏は9月、6〜12か月以内にAIがエージェントの群れを率いて、インターネット全体を掌握できるようになる可能性があると警告しました。この警告も、今回のAnthropicによる株式売り出しも、AIへの懸念が業界の内外で高まる中で出てきたものです。人間の能力を超えて問題を解決する一方で、自ら判断して他のより有害なタスクを実行しかねない、ますます強力なシステムへの不安が広がっています。
関連記事：The Race to Control AI and Protect What Makes Us Human
SECへの提出書類によると、AIシステムが「人間による監督を減らしたまま、より自律的になり、重大な影響を及ぼす行動を取れるようになる」につれて、そうしたシステムが「人間の介入なしに、独自に、かつ大規模に有害な行動を取る」リスクがあります。
「たとえ自社のモデルがそのような害を引き起こさなくても、最先端AIのいずれかが重大な安全上のインシデントを起こせば、AI業界全体に広範な評判被害をもたらし、世論の反発や大規模な規制対応を招いて、当社の事業に悪影響を及ぼす可能性があります」と、Anthropicは述べています。
現在では、AIモデル自体がAnthropic自身の研究開発に貢献しています。提出書類によれば、AIが「新しいモデルを評価し、保護する当社の能力」を超えて進歩する可能性もあります。同書類は、これがAnthropicの事業に悪影響を及ぼす恐れがあるとしています。
悪意ある者による技術の悪用
提出書類は、高度なAIシステムが十分な安全対策や監督のもとで開発・運用されなければ、「とりわけそのようなシステムが悪用、複製、兵器化され、あるいは高度な自律性をもって稼働することを許された場合、人類に壊滅的または存亡に関わるリスクをもたらす」との懸念を論じています。
同社は、悪意ある者による利用で被害が生じた場合、あるいは「当社のモデルのガードレールや安全対策がそうした悪用を防げなかった場合」には、自社が損害を被るとしています。
Anthropicは、悪意ある者がAIモデルを使って化学兵器を製造する事態や、独裁的な支配者がこの技術を使って国民を弾圧する事態を想定しています。同社は9月、自社のAIモデルをサイバー攻撃や監視、生物兵器の開発につながり得る研究といった悪意ある活動に使おうとする試みを阻止したことを公表しました。
計算能力の限界に直面する可能性
コンピュートとは、AIモデルの構築、テスト、改良に必要な計算能力やリソースのことです。高価であり、需要も高まっています。Anthropicは、十分なコンピュートを確保できない場合や、「ワークロード全体にわたってコンピュートを効果的に振り向けられない場合、競合他社に引けを取らないモデルを訓練できなくなったり、顧客に十分なサービスを提供できなくなったりする可能性があります」と記しています。
Anthropicは、データセンターに対する地域社会の反対も事業リスクとして挙げました。提出書類によると、データセンターの開発は「環境への影響、土地や水の利用、限られた電力資源の配分をめぐって、世論の論争と規制当局の監視を招いて」います。その結果として規制当局が新たな要件や課金を課せば、事業遂行能力が損なわれる可能性もあるとしています。
さらに同社は、売上の大部分を、SpaceXやMicrosoftを含む少数の顧客と販売チャネルに依存しています。このため、大口顧客がたとえ1社でも取引を縮小したり、完全に打ち切ったりすれば、Anthropicの将来性や財務が悪化する可能性があると述べています。
リスクの軽減に向けて
ある意味では、AIの甚大なリスクと、その巨大な可能性との組み合わせこそが、Anthropicの最大のセールスポイントです。同社は責任あるAI企業としての立場を築こうとしており、安全への意識の高さを強調して法人顧客の獲得を図っています。
「最先端のAI企業は、この技術が責任ある形で普及するよう、安全性とアライメントに投資しなければならないと考えています」と、提出書類は述べています。
Zacks Investment ResearchのチーフマーケットストラテジストであるBrian Mulberry氏は、IPO案件では、新規上場株に資金を投じる人々がどのようなリスクに直面するのかを「非常に明確に」示す必要があると語りました。
「米国の資本市場の優れた点の一つは、その透明性の高さです。米国の取引所に上場する企業になるには、そうした透明性を約束し、リスクを非常に明確な形で示すことが求められます。そうすることで、苦労して稼いだお金を出し、この種の案件の資金調達に参加したいと考える人々が、リスクを理解できるのです」と、同氏は述べました。
