このAI大手は、脅威に関して助言を行う「経験豊富なサイバー防御担当者およびセキュリティ実務家」からなる諮問グループを設置している。
OpenAIは、脅威グループが同社のますます強力になるフロンティアAIモデルを悪用し、高度なサイバー攻撃を実行しようとする可能性に備えている。
同社はブログの中で、その内容を説明し、自社モデルの進化する能力が「堅牢に防御されたシステムに対する実用的なゼロデイ遠隔エクスプロイトを開発したり、現実世界への影響を狙った複雑でステルス性の高いエンタープライズまたは産業向け侵入作戦を有意に支援したりする」ために利用されうると述べている。
OpenAIによれば、根本的な問題は、攻撃と防御の両方のAI利用が同じ知識と技術に依存していることだという。このため、一方を可能にしながら他方を不可能にすることは困難になる。
「私たちは、これらの強力な能力が主として防御目的に役立ち、悪意ある目的への底上げを制限できるようにするためのセーフガードに投資しています」と同社は述べ、さらに「この取り組みを一度きりの努力ではなく、防御側に優位性を与え、より広範なエコシステム全体にわたる重要インフラのセキュリティ態勢を継続的に強化していくための、持続的かつ長期的な投資と捉えています」と付け加えた。
新たな取り組みのひとつが「フロンティア・リスク・カウンシル」だ。同社はこれがどのように運営されるかについて多くを明かしていないが、AIが敵対的ツールとして持つと広く推測されている潜在力を封じ込めることを目的とした、「多層防御（defense in depth）」戦略の拡大の一環だと説明している。
「メンバーは、有用で責任ある能力と潜在的な悪用との境界について助言し、そこで得られた知見は、当社の評価とセーフガードに直接反映されます。カウンシルについては、近くさらに詳しい情報を共有します」とOpenAIは述べた。
ブログで言及されているその他の取り組みには、悪用に対するガードレールの拡張、モデルのセキュリティを評価するための外部レッドチームテスト、そして防御的なユースケースを探求するために、条件を満たした顧客に強化版モデルへのアクセスを提供する「トラステッド・アクセス・プログラム」などが含まれる。
OpenAIはまた、自社のコードベースにおける脆弱性を特定し、パッチや緩和策を提案するために、最近発表したAardvark Agentic Security Researcher スキャンツールベータ版の活用も拡大する計画だ。
AIのレッドチーミング
AI企業は、モデルの悪用をどのように阻止するのかを説明するよう、ますます強い圧力にさらされている。この不安は仮定の話ではない。先月、OpenAIのライバルであるAnthropicは認めたところによると、同社のAIプログラミングツール「Claude Code」が30組織を標的としたサイバー攻撃の一部として利用されており、この規模で悪意あるAIの悪用が確認されたのは初めてのことだった。
一方、米国の大学研究者らは今週、Artemis AI研究プラットフォームが、セキュリティ脆弱性の発見において10人中9人のペネトレーションテスターを上回ったと報告した。研究チームが指摘するように、これは人間の研究者に比べてごく一部のコストで実現しており、そのような能力へのアクセスが、資金力のある犯罪者以外にも広がる可能性がある。
これとバランスを取るように、防御側もAIを使って同じ脆弱性を発見できる可能性がある。OpenAIのブログは、2年前に発表したレッドチーミング・ネットワークに対して自社モデルをテストすることに言及することで、この能力に触れている。
OpenAIの今回の発表に対する業界専門家の反応は賛否両論だ。繰り返し指摘される懸念は、最先端モデルの悪意ある利用を阻止することの本質的な難しさである。
「OpenAIは、拒否トレーニングを通じてモデルに自らの能力を制限するよう求めていますが、これは鍵に『いつ開くべきか』を決めさせるようなものです」と、AIエージェントDevOps企業Jozuの共同創業者兼COOであるJesse Williams氏はコメントした。事実上、何が有害かを定義しているのは人間の作者ではなくモデルそのものだ。
「違いを生むのは意図と認可ですが、モデルはプロンプトからそれを推測することができません。ジェイルブレイクは一貫して拒否トレーニングを突破し、高度な攻撃者は検知の境界を探り、その周りを迂回するでしょう。セーフガードは軽微な悪用を減らすことはできますが、決意の固い脅威を止めることはできません」とWilliams氏は述べた。
「OpenAIの『トラステッド・アクセス・プログラム』は、一見もっともらしく聞こえますが、実装を精査すると疑問が生じます。誰が『信頼できる』と見なされるのでしょうか？大学の研究者でしょうか？防衛請負業者でしょうか？海外のSOCアナリストでしょうか？」
Rob Lee氏（SANS InstituteのチーフAIオフィサー）によれば、AIの悪用問題は、たとえOpenAIのような巨大企業であっても、1社だけで解決できるものではない。「企業は、脆弱性を自律的に発見したり兵器化したりできるモデルを世に出していますが、政府、フロンティアラボ、研究者、標準化団体などから成るグローバルな安全保障エコシステムは分断され、調整が取れていません」とLee氏は述べた。
「その結果、スピードそのものが脆弱性となるギャップが広がり、インフラ、金融、医療、重要システム全体にわたる連鎖的な障害を引き起こす条件が生まれています。」
すべての専門家がここまで悲観的というわけではない。Recorded Futureの脅威インテリジェンスアナリストであるAllan Liska氏によれば、AIがもたらす脅威を誇張しないことが重要だという。「国家レベルおよびサイバー犯罪者の脅威アクターによるAI利用への関心と能力が高まっていることは報告していますが、これらの脅威は、セキュリティのベストプラクティスに従っている組織の能力を超えるものではありません」とLiska氏は述べた。
「将来的には状況が変わるかもしれませんが、現時点では、AIやその他の脅威に関して、誇大広告と現実の違いを理解することがこれまで以上に重要です。」
