事態の緊急性を踏まえ、アナリストやコンサルタントは、エージェントが暴走した際にどう対処するか、またすべてのエージェントの行動をどう適切に制御するかについて、もっと具体的な説明を求めています。
OpenAIのグレッグ・ブロックマン社長は日曜日、今後のサイバー攻撃を乗り切りたいのであれば企業のCISOはエージェントの活用をより積極的に進める必要があると警告しました。
ブロックマン氏はブログ投稿の中で、企業のシステムには「重大な欠陥」が潜んでいることが「ますます明らかになっており、防御側は攻撃者より先にそれを発見し修正する必要がある」と述べました。
同氏はさらにこう付け加えています。「Hugging Faceのインシデントは、私たちが自社のAIモデルが現実世界で持つサイバー能力を過小評価していたことを示しました」。
ただし、OpenAIが現在取り組んでいる防御策として同氏が語った内容は、大半が企業にとってはお馴染みの、ごく標準的なベストプラクティスにとどまっていました。
ブロックマン氏は「私たちは引き続き安全なアーキテクチャと制御機構への投資を続け、多層防御や最小権限の原則といった戦略を採用し、破滅的な事態が起きるためには複数の独立した制御が同時に破られなければならないようなシステム設計を進めています」と述べました。「ネットワークの分離、ワークロードの堅牢化、監視、そして安全なパッチ適用・デプロイといった従来型のセキュリティ対策は、AIが普及する時代においてこれまで以上に重要になるでしょう」。
新たに台頭する脅威に対抗するため、ブロックマン氏は企業のCISOに対し、アジェンティックシステムの活用を拡大するよう助言しましたが、当然ながらその中でOpenAI製品を推奨しています。
同氏は次のように記しています。「セキュリティチームにエージェントを与えてください。Codex、Codex Securityプラグイン、あるいは他の高性能なエージェント型のコーディング・セキュリティツールの利用を始めてください。セキュリティチームが評価に必要とするコードベース、インフラ構成、技術文書へのアクセス権を承認の上で与えてください。全社的な展開を待たずに、優先度の高いシステムから着手してください」。
続けて同氏は「そのエージェントにセキュリティの専門知識を備えさせてください。コミュニティがサポートするスキルから始めましょう。これには静的解析、セキュリティ重視のコードレビュー、脆弱性の派生パターン分析、ソフトウェアサプライチェーンのリスクなど、さまざまなセキュリティワークフローが含まれます。その上で、自社のアーキテクチャ、セキュリティ基準、脅威モデル、対応手順に沿った独自のスキルを構築してください」と述べています。
的確ではあるが、自社に都合の良いアドバイス
アナリストやコンサルタントたちは、ブロックマン氏の助言は的確ではあるものの、同時に当たり前の内容であり、いくぶん自社に都合の良いものでもあると指摘しています。
Gartnerの副社長アナリストであるネイダー・ヘネイン氏は率直にこう述べています。「原則として、私は自らが一因となって生み出した問題の解決策を積極的に売り込んでいる当事者からのアドバイスに従うことは勧めません。興味深いことに、このブログ投稿では責任の所在について一切触れられていません」。
Malwarebytesのマルウェアインテリジェンス研究者であるピーター・アーンツ氏は「私が本当に際立っていると感じるのは、OpenAIの営業的なメッセージが異例なほど露骨だという点です」と付け加えました。
「『セキュリティチームにエージェントを与える』こと、そしてコード、インフラ構成、技術文書へのアクセス権を与え、全社展開を待たずに優先度の高いシステムから始めること」と、アーンツ氏はブロックマン氏の投稿の内容を言い換えて説明しました。「読み取り専用のスキャンから始まり、アラートのトリアージを経て、範囲を限定した誤検知の自動クローズへと進む提案の道筋自体は、大枠としては理にかなっています。しかし、OpenAIが企業環境においてエージェントによるアクセスを標準的なものとして定着させようとしているのは明らかです」。
LexisNexis Risk Solutions GroupのCISOであるフラビオ・ビジャヌストレ氏も懐疑的な見方を示しています。
「ブロックマン氏の提言には概ね同意しますが、これはそもそもOpenAI自身が生み出す一因となった問題です。そしてその提言は結局のところ、ユーザーがAIを使って自らを防御するために、これまで以上にOpenAIへ支払いをするよう求めているように見えます」と同氏は述べました。「もはや一度出てしまったものは元に戻せないということは十分承知していますが、OpenAIはより高い安全基準でこの問題への対処に責任を持って取り組み、さらにはソフトウェアセキュリティ全般を向上させる取り組みに資金を提供すべきだと考えています。AIが生成する検出結果や修正提案の増加によって現在深刻な負荷を抱えている主要なオープンソースプロジェクトへの資金支援なども考えられるでしょう」。
「説明責任は常に自分たちの足元から始めるべきです」と同氏は付け加えました。「しかし、あのブログ投稿にはそれが反映されているようには見えません」。
Aikido Securityのエンタープライズ担当CISOであるマイク・ウィルクス氏は、より重要なのはブロックマン氏が語らなかった数多くの事柄、たとえばエージェントが暴走した際に被害を抑える方法などだと指摘しました。
「重要な結果をもたらしうるエージェントの行動には、影響範囲の制限、監査証跡、そしてテスト済みでほぼ即座に実行できるロールバック手段が必要です。単にモデルのセキュリティ判断を信頼するだけでは不十分です」とウィルクス氏は述べました。「自律性を段階的にのみ拡大していくべきだというブロックマン氏自身の提言はその考え方と一致していますが、私であれば可逆性を明示的な設計要件として位置づけます」。
同氏はさらに、「ブロックマン氏は『範囲を限定した自動対応』や、最も影響の大きい判断については人間が責任を持ち続けるべきだという点に適切に言及していますが、防御用エージェントを導入する企業には、そのエージェントが変更した内容に対して極めて高速かつ高い信頼性を備えた『取り消しボタン』も必要です」と付け加えました。
同氏が指摘するように、インシデント対応は常に不完全な情報の下で行われるものであり、初期の兆候はしばしば誤っているため、攻撃者は誰なのか、何が侵害されたのか、次にどこへ向かおうとしているのかについての仮説が新たな証拠によって修正されるまで、チームは誤った方向を追い続けてしまうことがあります。
業界全体が抱える問題
アナリストやコンサルタントたちは、こうした問題は業界全体に共通するものであり、多くのAIベンダーがシステムを本当の意味で安全にする方法よりも、最も収益を上げられる分野や自社が最大の市場シェアを握れる立ち位置に注力してきたという点で意見が一致しています。
Info-Tech Research Groupのディスティングイッシュト・アナリストであるマーク・タウシェク氏は「ブロックマン氏のブログ投稿は良くまとまった内容ですが、特に目新しい点や注目すべき点はありません。主要なAI研究機関はいずれも、初期の頃に設けられた安全性や倫理面のガードレールから後退しつつあります」と述べました。「彼らの関心は今後、サイバーセキュリティ関連の機能に向けられていくでしょう。なぜならそこにこそ注目と資金が集まっているからです。新しいモデルが一般ユーザーにとって倫理的かつ安全に振る舞うことを確保するために資金を投じ、開発速度を落とそうという意欲は薄れてきています」。
Digital 520のプリンシパルコンサルタントであるノア・ケニー氏も同意見であり、OpenAIがIPOに向けた準備を進めていることを踏まえれば、そうする理由があると付け加えました。
「私に言わせれば、これは何よりもまずIPOをめぐる物語です。防御的なセキュリティへの取り組みはS-1において好印象を与えます。収益を守り、運営の成熟度をアピールし、投資家を安心させてくれるからです」とケニー氏は述べました。「一方、破滅的リスクを扱うチームはそれとは正反対の性質を持つ項目です。なぜならその存在意義自体が、製品発表の会議に乗り込んでいって『このモデルはリリースするにはあまりにも危険かもしれない』と告げることにあるからです。それは企業が上場を目指しているまさにその時に、遅延や法的リスクを招き、しかも収益は一切生み出しません」。
IDCのクラウドセキュリティ部門リサーチディレクターであるケイティ・ノートン氏は、この投稿で自分が最も印象に残った点は、提案されている対応の緊急性だったと述べています。
「際立っているのは、ブロックマン氏のメッセージの切迫感、そしてOpenAIとHugging Faceのインシデントを受けて、自社モデルが現実世界で持つサイバー能力を過小評価していたことをOpenAI自身が認めている点です」とノートン氏は述べました。「同氏は本質的に、各組織が適応するための猶予は数年ではなく数カ月しかないと言っているのです」。
この記事はもともとComputerworldに掲載されたものです。
