AIエージェントの「ハーネス」がレッドチーム演習の結果を左右する

組織がAIエージェントを評価する際、通常は大規模言語モデル（LLM）同士を比較します。 

しかし、Lassoによる新たな調査は、同等に注目すべきもう一つの要素があることを示唆しています。それが「エージェントハーネス」です。

研究者らは、AnthropicのClaude Agent SDKと、LangGraph上に構築されたオープンソースのdeepagentsフレームワークを比較する調査において、モデル、プロンプト、ツール、攻撃対象を固定し、実行環境（ランタイム）のみを変化させました。 

その結果、同一のモデルであっても、実行を管理するハーネスによって性能が大きく異なることが示されました。

主な要点

• AIエージェントハーネスは、同じ基盤モデルを使用していても攻撃系のセキュリティ性能に影響を与えうる
• ランタイムアーキテクチャは、複数の最先端LLMにおいて攻撃成功率、信頼性、ツール実行に影響を及ぼした
• AIベンチマークは、モデル単体ではなく、モデルとハーネスの組み合わせの性能を測定している可能性がある
• 研究者らは、自律型AIエージェントが失敗した攻撃を成功と誤分類するケースが頻発していることを発見し、独立した検証の必要性を浮き彫りにした
• エンタープライズ導入において、適切なAIハーネスの選定は基盤LLMの選定と同じくらい重要になりつつある

ハーネスが攻撃成功率に影響を与える

AIエージェントは、LLMだけで構成されているわけではありません。 

研究者らによると、エージェントにはプロンプト、利用可能なツール、そして実行のオーケストレーションを担うハーネスも含まれます。 

このハーネスは、コンテキスト、ツール呼び出し、メモリ、計画立案、実行ループを管理し、複数ステップにわたるタスク全体を通じてモデルの挙動を実質的に形作っています。

ハーネスが与える影響を測定するため、研究者らは5つの最先端モデルを対象に、金融、医療、法務、カスタマーサポート、教育の各分野にまたがる20種類の攻撃シナリオでテストを実施しました。 

各モデルは、模擬アプリケーションを対象にプロンプト抽出、機密情報の漏洩、有害コンテンツの生成を試みました。

1,000件の自律型攻撃全体を通してみると、2つのハーネス間の平均成功率は比較的近い値を示していました。 

しかし、この平均値は個々のモデルレベルでの大きな差異を覆い隠すものでした。 

多くのケースで、同一の基盤モデルを使用しているにもかかわらず、一方のハーネスでは攻撃が成功する一方、もう一方のハーネスでは完全に失敗するという結果が見られました。

モデルごとに性能差が大きくばらついた

今回の調査では、ハーネスの選択が結果に与える影響は、モデルによって大きく異なることが明らかになりました。

Claude Sonnet 5は、使用するハーネスにかかわらずほぼ同一の攻撃成功率を示しており、ランタイムがその挙動にほとんど影響を与えていないことがうかがえます。 

DeepSeek-V4-Proは、両フレームワークで全体的な成功率はほぼ同水準でしたが、攻撃カテゴリーごとに得意とするハーネスが異なりました。 

一方のハーネスはシステムプロンプトの抽出において大幅に優れた成績を示し、もう一方は有害コンテンツ生成攻撃でより高い成功率を記録しました。

最も顕著な結果を示したのはKimi-K2.6でした。 

Claude Agent SDK上で実行した場合、このモデルの攻撃成功率は約1%にとどまりました。 

一方、deepagentsを使用した場合、モデル・プロンプト・ツールを一切変更していないにもかかわらず、その数値は約24%まで上昇しました。 

研究者らは、この差の原因をハーネスとモデルの間で行われるプロトコル変換にあるとしています。この変換がツール実行を中断させ、多くの攻撃シーケンスを途中で終了させていたのです。

ハーネスがAIセキュリティ評価に影響する理由

今回の調査結果は、攻撃的セキュリティテストの領域を超えた意味合いを持っています。

組織は自律的な能力を評価するためにAIモデルのベンチマークを行うケースが増えていますが、今回の研究はそうしたベンチマークが、モデル単体ではなく「モデルとハーネスの組み合わせ」を測定していることが多いことを示唆しています。 

ハーネスが異なれば、プロンプトのまとめ方も、ツールの説明の構造化の仕方も、実行ループの管理方法もそれぞれ異なり、それが能力と信頼性の両方に影響を及ぼしうるのです。

研究者らはまた、自律型エージェントに自らの性能を評価させると、誤解を招く結果につながることも発見しました。 

エージェントが「成功」とラベル付けした攻撃のうち、半数以上が後に独立した評価プロセスによって「失敗」であったと判明しています。これは、自律型エージェントの性能を評価する際には、組織は外部検証に依拠すべきであることを示唆しています。

適切なハーネスの選択はワークロード次第

今回の調査は、いずれか一方のハーネスが普遍的に優れているという結論を示すものではありません。

Claude Agent SDKは、ネイティブな統合とプロンプトキャッシングにより、Anthropic製モデルと組み合わせた際にコスト面での優位性を示した一方、deepagentsは複数のモデルプロバイダーにまたがる高い柔軟性を提供しました。 

研究者らは、ランタイムを互換性があるものと安易に見なすのではなく、組織はモデルと併せてハーネスも評価すべきだと強調しています。

AIエージェントを導入する企業や自律的なレッドチーム演習を実施する企業にとって、今回の研究はランタイムアーキテクチャがセキュリティテストの結果と運用性能の両方に実質的な影響を与えうることを示しています。 

AIエージェントの能力が向上するにつれ、適切なハーネスの選定は、基盤モデル自体の選定と同じくらい重要になっていくかもしれません。

今回の調査結果は、AIエージェントの導入がもはや単なる技術的な意思決定にとどまらず、ガバナンス上の課題でもあることを改めて浮き彫りにしています。