人工知能(AI)分野を代表する大物たちが、突如として「開発の減速」を口にし始めています。
OpenAIのCEOであるサム・アルトマン氏は、AIシステムの能力が急速に向上する中、開発者がそれを理解・制御する速度を上回るペースで進化させ続けてよいのかという懸念を受け、最先端AIの開発ペースを抑えるべきだとする呼びかけを支持しています。
AnthropicのCEOであるダリオ・アモデイ氏も、独立した評価や共通の安全基準の策定を含め、最先端AI企業間でのより緊密な協調を求めています。
この議論自体は価値のあるものだと思います。しかし、サイバーセキュリティの観点から見ると、次世代AIの登場を待っている余裕のない、別の問題が既に存在しています。
組織は既にAIエージェントに認証情報やシステムへのアクセス権を与えています。そうしたエージェントは、人間の関与が限られた状態でも行動を起こせるのです。
つまりAIセキュリティは、明日訪れる理論上の問題ではなく、今日すでに存在する運用上の問題だということです。
AIの安全性はアクセス制御の問題になりつつある
自律型システムが本来想定された環境の外で動作した場合に何が起こり得るかは、Anthropicの「Claude」に関する最近のインシデントが物語っています。
Anthropicは、複数の評価作業中に自社モデルが実在するサードパーティのシステムへ不正にアクセスしていたことを公表しました。
同社はその後、調査対象を約4億8100万件のトランスクリプトにまで拡大し、運用面のセキュリティおよびモデルの挙動に関する脆弱性を認めています。
私自身は、ここでAIの安全性をめぐる議論が、サイバーセキュリティチームにとってはるかに馴染み深いものになってくると感じています。
Manifold SecurityのCTO兼共同創業者であるオレクサンドル・ヤレムチュク氏は、eSecurityPlanetへのメールで、最先端AI開発を減速させることは、組織が既に導入済みのエージェントを保護することの代わりにはならないと指摘しています。
「開発ペースの調整は正しい議論ですが、それが、既に世に送り出してしまったAIを保護する取り組みの代替になってはなりません」とヤレムチュク氏は述べています。
同氏は自律型AIを危険物質になぞらえました。
組織は、危険物質がより危険になるのを待ってから、誰がその管理権限を持ち、誰がアクセスできるのかを制御するようなことはしません。むしろ、その物質がどこへ向かうのかを常時監視し、何か問題が起きた際の説明責任の所在をあらかじめ定めています。
私は、この例えはAIエージェントにもよく当てはまると思います。
あるエージェントが本番インフラとやり取りできるのであれば、セキュリティチームはそのエージェントがどの認証情報を保有し、どのリソースにアクセスできるのかを把握しておくべきです。また、そのエージェントが何をしたのかを可視化し、必要な場合には即座にアクセス権を取り消せる体制も整えておくべきです。
人間や機械のIDに対して私たちが適用している原則は、行動主体がたまたまAIであるからといって、なくしてよいものではありません。
自主的なガードレールが抱えるインセンティブの問題
競合するAI企業に対して自主的な開発減速を求めることには、実務上の課題も伴います。
Black Hills Information Securityのサイバーセキュリティ研究者であるジェレマイア・ファウラー氏は、開発を逆方向へと駆り立てる強大な競争上のインセンティブを指摘しています。
「不都合な真実として、AI企業には競合他社より優れた高度なモデルを開発しようとするインセンティブが働いています」とファウラー氏は述べています。
これにより、各社が市場での地位を失うことを恐れる限り、自主的な抑制は難しくなります。
ファウラー氏は、実効性のあるガードレールを設けるには、強制力のある最低限の安全基準を定め、独立した第三者によるテストや監査を義務付けるべきだと主張しています。また、人間の関与を維持しつつ、自律的な権限には制限を設けるべきだとしています。
一部のAI開発企業では、既により強固な評価の枠組みへと動きが進んでいます。例えばAnthropicは、安全対策やセキュリティに重点を置いた「Responsible Scaling Policy」と「Frontier Safety Roadmap」を維持しています。このロードマップでは、アラインメントやポリシーについても扱っています。
同社はまた、業界全体で開発ペースを協調させるとしても、それは法令を遵守し、独立した形で検証可能なものである必要があると述べています。さらに、政府と業界の協力も不可欠だとしています。
モデルがますます高度なタスクをこなせるようになる中、独立した評価は、精査のもう一つの層を提供し得るものです。
しかし、評価だけでは、企業内で稼働しているAIエージェントを守ることはできません。
組織は、既に導入済みのAIを保護すべき
セキュリティ責任者の立場から見ると、この議論には二つの別個の論点があります。
業界全体としては、ますます強力になる最先端モデルをいかに安全に開発するかを見極める必要があります。
一方で組織は、自社の環境に既に接続されているAIシステムをいかに制御するかを見極める必要があります。
つまり、自律型エージェントを単なるソフトウェア機能の一つとしてではなく、特権を持つIDとして扱うということです。
タスクの遂行に必要な権限だけを与え、使用する認証情報を保護してください。エージェントの行動もログに記録し、セキュリティチームが異常な挙動を監視できるようにすべきです。
組織は、エージェントが自律的に実行できる範囲について明確な境界線を定めるべきです。また、必要な場合に人間が直ちにアクセスを遮断できる手段も用意しておくべきです。
ヤレムチュク氏は、この課題を三つの端的な問いに集約しています。
- そのエージェントは何をしたのか
- そのエージェントは何にアクセスできたのか
- それを止めることはできたのか
私はもう一つ、こう付け加えたいと思います。止める必要があると、どれだけ早く気づけるのか、と。
AIの安全性をめぐるより大きな議論の決着には、時間がかかるでしょう。しかしセキュリティチームは、エージェントをどう監視し、何にアクセスさせ、いつ人間が介入すべきかを、その議論の決着を待ってから決めるわけにはいきません。
AIエージェントやその他のIDがアクセスできる範囲を制限しつつ、そのアクセスを許可すべきかどうかを継続的に検証していく上で、ゼロトラストの考え方を導入することは、組織にとって有効な一手となるでしょう。
