AIにセキュリティを組み込む際、大規模言語モデル(LLM)やAIシステムをブラックボックスとして扱うことが多く、トークン化された入力と出力の分析には焦点を当てても、モデル内部で何が起きているかには目を向けない傾向があります。その結果生まれる技術は複雑で、特定のモデルに個別最適化されたものになりがちです。
この状況を変えようとしているのが、あるオフェンシブセキュリティ研究者のグループです。彼らはBlack Hat USA 2026での発表の中で、8月にモデルに依存しないアクティベーション分析の手法を発表する予定です。この手法では、活性化イベントを処理するための標準化されたルールを用います。特定の活性化分布を「サイバー犯罪」や「ヘイトスピーチ」といったラベルで分類するのではなく、認知要素(cognitive elements、CE)と呼ばれるより細かい単位を組み合わせる方式を採用しています。たとえば「コンテンツを作成する」「提供する/与える」「クリックする/入力する」「個人情報」といった認知要素を論理式で組み合わせることで、フィッシング攻撃の可能性を検知するルールを構築できます。
目標は、SnortやYARAのルールセットに似た、特定の種類の安全性関連イベントを検知するための、識別済み認知要素とルールからなるオープンなシステムを構築することだと、ベン・グリオン大学ネゲブ校でOffensive AI Research Labを率いる准教授のYisroel Mirsky氏は語ります。
「私たちが本当に目指したのは、この分離を実現することです。ニューラルネットワークの低レベルで行われる面倒な数学的処理やプロセス一式を、実務者が扱わなければならない部分から切り離すということです」と同氏は述べます。「実務者が扱いたいのは高レベルな話、つまりモデルが何をすべきで何をすべきでないかということだけなのです」
AIのジェイルブレイクを試みる行為を含む、安全でない悪意あるプロンプトはAIシステムにとって重大な問題であり、悪意ある行為者がLLMや他のAIサービスの能力を問題のある、あるいは完全に悪意ある目的のために利用することを可能にしてしまいます。プロンプトや出力のトークン化されたコンテンツを分析することで、企業はファイアウォールやガードレールを構築できますが、攻撃者や執拗なユーザーはこうした防御を回避する方法を見つけ出しています。プロンプトに別の言語を使うだけで、コンテンツベースのガードレールを回避できてしまうことも少なくありません。他にも、脆弱性を見つけ出すなど、防御を完全に迂回してLLMにコンテンツを忍び込ませる手法も存在します。
機械の「脳」を解き明かす
モデルへの入力やモデルからの出力をトークン化して分析する手法は、アンチウイルスのスキャンやヒューリスティック分析に似ています。高速で、幅広い攻撃を捕捉でき、攻撃者にとっての障壁を引き上げますが、多層防御にはさらに多くの層が必要だとMirsky氏は指摘します。
「入力や出力、つまり表面的な部分を見るだけでも、さまざまな攻撃を検知できます」と同氏は言います。「問題が生じるのは、それを既に知っている攻撃者が、何らかの表現攻撃(representation attack)を試み、モデレーターが攻撃者の意図を察知しにくくしようとする場合です」
一連の認知要素と、それらがAIシステムにおいて通常引き起こすニューロン層を示した図。出典: Ben-Gurion University
アクティベーション分析は、プロンプトや出力のトークン化されたコンテンツの分析に焦点を当てる代わりに、神経生物学者の手法からヒントを得ています。神経生物学者は、被験者がさまざまな画像を見たり、さまざまな行動を考えたりする際に人間の神経回路網全体の活性化を記録することで、脳の機構的な働きを解明します。モデルに計測装置を組み込む、つまりデジタル版のプローブを「脳」に差し込むことで、研究者たちは活性化パターンを検知・分析し、それらのパターンをさまざまなカテゴリーに対応付けることができます。
しかし、これまでの取り組みでは、広範なデータセットを通じて不正利用をマッピングしており、幅広い活動を「サイバー犯罪」や「誤情報」といった大まかなラベルで分類していました。これにより誤検知が大量に発生し、検知ルールをきめ細かくすることが難しくなっていました。さらに、現行のアクティベーション分析では、結果の解釈が困難な場合が多いと、BGUの研究チームは4月の研究論文で述べています。
AIシステムの「思考」を取り締まる
研究者たちが開発したシステムは「Governance via Activation-based Verification and Extensible Logic」(GAVEL)と名付けられており、特定の活性化パターンを、認知要素の辞書に含まれるより細かい対象や述語と関連付けることを目指しています。たとえば「陰謀論的」という要素と、「感情的に関与する」「人間のふりをする」「迎合的である(sycophancy)」のうち1つ以上を組み合わせると、妄想的な危険性のシグナルになると研究者たちは論文で述べています。
「リクエストをどのように表現するかは関係ありません。モデルがその危険なタスクを実行しようと『考えて』いるのであれば、たとえそれが危険とまでは言えず、単にポリシー違反であるだけだったとしても、そのタスクを実行しようと考えている限り、私はそれをニューラル活性化そのものの中から検知できるべきなのです」とMirsky氏は言います。
AIシステムのブラックボックスを開くことには、普遍性や言語非依存性など多くの利点があります。トークンベースのセキュリティを別の言語で回避しようとする攻撃者がいても、アクティベーション分析であれば検知できます。なぜなら、モデルが指示を翻訳した後、同じニューロン群が活性化するという点が重要だからだと同氏は説明します。さらにこの手法は、入力のコンテンツそのものに焦点を当てないため、解読が難しかったり、悪意がある場合には防御をすり抜けるよう構造化されていたりする問題も回避できます。
ただし、これはまだ研究段階のプロジェクトだとMirsky氏は言います。研究者たちは「まだかなりの部分を手探りで進めており、推測や仮定に頼っている状態です」。
エージェント型セキュリティパイプラインの一部として
Black Hat USA 2026において、研究者たちはこの技術そのものだけでなく、防御やポリシーの構築を格段に容易にするための一連のツールとルールも発表する予定です。欧州連合(EU)の資金提供を受けたこのプロジェクトは、一連の認知要素、ルールベースの検知フレームワーク(GAVEL)、そしてAIセキュリティコミュニティ向けのコードとツールを提供します。
「ルールベースのシステムというものは、人々がそれを採用し、GitHubに貢献し、ルールを提供し、Issueを提出するなど、何であれ実際に使い始めて試行錯誤してもらうことでしか、勢いを得ることができません」とMirsky氏は言います。「私たちはこれを成長させ、この種のツールを必要とする次の誰かにとって、より役立つものにしていきたいと考えています」
アクティベーション分析は、トークンやプロンプトのコンテンツの分析に取って代わるものではないとMirsky氏は強調します。目標は、アクティベーション分析を防御のもう一つの層として簡単に追加できるようにすることだと同氏は言います。
「それぞれの技術はセキュリティの別々の層であり、それぞれが異なる側面を解決し、全体として攻撃者がそれを回避する難易度を引き上げます」と同氏は述べます。「トークンレベルのモデレーションを捨て去るべきではありません。それは依然として必要です。ほとんどのケースにおいて非常に安価で効率的、かつ効果的だからです。ただ、誤検知を減らし、本当に高度な攻撃をすり抜けさせないようにするためには、より深く掘り下げる必要があるのです」
