AIフリートを守る16のガバナンスツール

DevOpsチームに携わる誌者なら誰でも知っているように、AIを扱うのはサーカスのライオン使いのような仕事です。ライオンが台の上に座って合図どおりに吠えているうちは上司も観客も満足ですが、いつ暴走して舞台を一瞬で悲惨な結末に導くかわからない危険が常につきまといます。

実際のところ、本番環境でLLMを運用するということは、ハルシネーション、データ漏洩、誤情報、暴走、あるいはそれ以上の事態にいつでも対処できる態勢を整えておくことを意味します。近年、AIOpsチームがAIを制御し続ける負担を軽減できるよう、ツールやプラットフォーム、システムを提供する企業が数多く登場しています。これらの企業が作り上げているアルゴリズムは、精神科医と警察官、ソーシャルワーカー、政治将校、そして社内の密告者を掛け合わせたような存在です。皮肉なことに、その内部に独自のLLMを抱えているものも少なくありませんが、少なくとも彼らは努力しています。

こうしたツールの名前には「ガードレール」「ガバナンス」「トラスト」といった言葉が使われることが多く、開発やベンチマークに焦点を当てた他のAIOpsツールとも密接に関連しています。これらの新興製品カテゴリーはしばしば重なり合っており、AI自体とそれを取り巻く市場が進化を続けるにつれて、その重なりはますます大きくなっていくでしょう。

ここでは、多くを約束しながらも危険をはらむLLMを制御するために取り組んでいる企業のうち、特に興味深い16社をアルファベット順に紹介します——台の上できちんと振る舞わせ続けられればの話ですが。

Collibra

データ製品では、漏洩を防ぎつつクライアントが必要とするデータだけを的確に提供できるよう、アクセスを十分に制御する必要があります。Collibraは、ガバナンスとプライバシー保護のためのツールに、ハルシネーションの最小化といった一般的なエージェント管理業務を統合した「AI Command Center」を提供しています。この統合コントロールプレーンは各種エージェントをカタログ化し、まずそれぞれに「トラストスコア」を付与してリスクの度合いと準備状況を評価します。このツールはSnowflakeやDatabricksといった他のデータ管理ツールともうまく統合されており、管理者は完全な監査証跡を掘り下げることでアクセスを制御できます。

価格: 標準的な価格情報は公開されていません。デモを予約し、営業チームと面談する必要があります。

特徴: 企業全体にわたるデータの保護に重点を置いているため、AIガバナンスは正確性を追求するより大きな戦略目標の一部という位置づけになっています。

最適な利用者: 一貫したデータ品質を必要とする大企業。

Confident Security

AIコンプライアンスのテストと追跡には、大量の非公開情報や機密情報を扱う必要が生じることが多く、そのためConfident Securityは、AppleのPrivate Cloud Computeにちなんで名付けられたOpenPCCというクラウドコンピューティング向けプライバシー保護ツールを開発しました。チームはオープンソースのコアと、フル機能のSaaSプラットフォームおよびAPIを備えた商用製品のどちらかを選べます。いずれも複数層の暗号化を用いて、AI推論が安全な——必要であれば匿名化された——システム内で計算され、一連のテストに合格した場合にのみ結果が出力される仕組みになっています。この追加のプライバシー保護レイヤーは、より機密性の高いクエリを扱うアプリケーションで役立ちます。

価格: トークン数に基づく従量課金制です。

特徴: 特定業界向けにあらかじめ定義されたコンプライアンス用ラッパーにより、「あらゆる侵害や不正利用について財務上の責任を負います」と謳うことができます。

最適な利用者: ヘルスケアや金融サービスなど、コンプライアンス上の制約が厳しい業界。

Credo AI

Credo AIは、エージェントを追跡し、リスクのある挙動を監視するために構築されました。企業のDevOpsチームは、エージェントやLLMの一元的なカタログを構築し、この「Govern AI Assistant」(GAIA)を定期的に参照することでコンプライアンス上の問題を管理下に置くことができます。このツールは最下層のモデルレベルからエージェントレベル、アプリケーションレベル、ネットワークレベルに至るまであらゆる層で機能し、必要に応じてデータフローを制御します。Credoのシステムは、EU AI Act、SOC2、ISO-42001、GDPRなど、世界各国の規制フレームワークに対応した「ポリシーパック」を提供しています。自動化されたガードレールは、コンプライアンス状況を追跡するだけでなく、ポリシーを積極的に強制することもできます。

価格: 見積もりは営業チームとの面談で確認できます。

特徴: 国際的な規制フレームワークを見据えたリスク評価。

最適な利用者: 複数国にまたがる大企業。

F5とCalypsoAI

特徴: リアルタイムのツールと統合された自動レッドチーム機能が、プロンプトの悪用といった問題を監視します。

最適な利用者: 一般公開されているWebアプリケーションなど、利用量の多いアプリケーション。

Fiddler AI

「すべての企業向けエージェントにはAIコントロールプレーンが必要だ」——Fiddler AIの販促資料はそう謳っています。同社の製品はモデルの挙動を追跡し、その動作について説得力のある説明を提供しようとするものです。この知見は、モデルを統治・保護し、さまざまな規則や規制へのコンプライアンスを保証するための基盤となります。Fiddlerは企業規模での運用に対応しており、ハルシネーション、有害性、個人を特定できる情報(PII)の漏洩、ドリフトを追跡するために100種類を超える指標を無制限にコピーして集約します。そのうえで、ジェイルブレイクやプロンプトインジェクション、バイアスといった違反行為からの保護のためにポリシーを強制します。目標は、企業が求める成果を確実に提供し続けるよう、大規模なモデル展開を管理するために必要な膨大なテレメトリを処理することです。

価格: 開発者向けの無料プランがあり、有料プランはトレース数に基づく従量課金制です。

特徴: ガードレール機能と一般的なモデルメンテナンスを統合した統一プラットフォーム。

最適な利用者: 予測型MLモデルが数多く稼働するスタックを運用するチーム。

Guardrails AI  

Guardrails AIは主に2つの製品を提供しています。一つは、大量の合成データをモデルに絶えず流し込み異常を検出するシミュレーターの「Snowglobe」、もう一つは、LLMを監視し出力の問題を修正する本番運用対応のフレームワーク「Guardrails OSS」です。Guardrails OSSは、PII漏洩やジェイルブレイクといった問題のある応答をブロックしたり、不正な形式のJSONのような軽微な不具合を修正したりと、幅広い問題に対応するさまざまなルール(「バリデーター」)を適用します。あらゆるLLMを取り囲み、すべてのやり取りに対して文字どおりの「ガードレール」を提供するよう設計されています。

価格: オープンソースツールとして提供されており、管理サービスも利用可能です。

特徴: 外部公開ツールを保護するための、モデルの挙動に対するリアルタイム監視。

最適な利用者: LLMの応答を決められた形式に準拠させる必要がある、構造化されたアプリケーション。

Hidden Layer

どんなコンピューターシステムにおいても最も深い部分にある弱点を見つけ出すのは容易ではありませんが、LLMの不可解な性質を前にすると、その課題はさらに大きくなります。Hidden Layerのプラットフォームは、スタックの奥深くに潜む発見しづらいAIまでも突き止めることを目指したカタログ化のアプローチから始まる包括的な防御を提供します。そこから攻撃シミュレーターと自動レッドチームを展開し、特定したモデルへの検証を継続します。同社の「AI部品表(AI BoM)」はモデル自体の内部に踏み込み、重みやメタデータを調べて弱点を洗い出します。この多層的なアプローチにより、企業のスタック全体にわたるすべてのモデルが正しく振る舞い、重要な情報を漏洩していないことを確認することを狙いとしています。

価格: AWSなどのクラウドマーケットプレイスから入手可能で、導入形態に応じたカスタム価格が設定されています。

特徴: AI攻撃シミュレーション機能により、開発者は潜在的な問題を事前に予測できます。

最適な利用者: 独自モデルを保護するサイバーセキュリティチーム。

IBMのwatsonx.governance

IBMのwatsonx.governanceを使ったエージェント群やモデル群の制御は、展開済みのすべてのモデルに関連するリスクを追跡する「ガバナンスグラフ」の構築から始まります。このシステムは開発と展開の両方を追跡するため、関係者はどのようなデータが学習に使われ、モデルからどのような回答が出力されたのかを迅速に把握できます。DevOpsチームは、モデルドリフトやハルシネーション発生率といった標準搭載の指標を追跡することも、独自の指標を定義することもできます。このアプローチは、IBM Cloud上で稼働する他のIBM製品との相乗効果を活かしたものであることが多くなっています。

価格: 30日間の無料トライアル後、利用状況と展開範囲に応じた従量課金制になります。

特徴: 大規模クラウド全体にわたるあらゆるガバナンス課題を網羅することを狙った、ライフサイクル全体の統合。

最適な利用者: コンプライアンス要件の厳しい環境でマルチクラウド展開を行う大企業。

Lakera

エンドユーザーが音声や文章で質問やプロンプトを入力し、LLMと直接やり取りする場面では、Lakeraがそのトラフィックを監視し、エージェントの挙動を統制します。このツールは、エンドユーザーがシステムを攻撃するために用いるジェイルブレイクやプロンプトインジェクションといった手口を阻止するよう設計されています。きめ細かなアクセス制御により、やり取りを細かく調整し、不正なデータ漏洩やその他の攻撃を防ぐことができます。同社はまた、AIセキュリティを学べる教育ゲームとして知られる「Gandalf」のスポンサーでもあり、多くの人は同社のツールがこのゲームの開発・運用から得た知見によってより優れたものになっていると考えています。

価格: Lakera Guardにはリクエスト数とトークン数に制限のある無料コミュニティプランがあります。より大きな上限が必要な場合は営業チームとの面談が必要です。

特徴: 低遅延での保護に最適化された高速ツール。

最適な利用者: リアルタイム環境で回答を提供するチーム。

Lasso Security

大規模な企業向けプラットフォーム全体でAIを制御下に置くには、幅広い知見とそれを実現するツールが必要です。Lasso Securityは、ソースコードリポジトリや継続的インテグレーションパイプラインをスキャンするといった手法によって各種LLMを見つけ出す自動化ツールを用い、AI導入状況の包括的な棚卸しから始めます。この棚卸し結果が、レッドチーム演習とランタイム時のポリシー強制の基盤となります。

価格: 導入ごとにカスタム価格が設定されます。

特徴: 複数ステップにわたるワークフローを対象としたエージェント型ツール。

最適な利用者: 実験を積極的に奨励する、比較的オープンな環境を保護するチーム。

LogicGate

ガバナンス・リスク・コンプライアンスへのノーコードでのアプローチを求めるCISOには、LogicGateの「Risk Cloud」が適しています。このツールは、企業内のすべてのサービスに関する情報と評価をグラフデータベースに蓄積します。その一側面として、LLMによって深刻化する潜在的な問題を追跡します。同ツールはあらかじめ構築された連携機能を通じて、同社が「Risk Cloud Quantify」と呼ぶ、データ収集とモンテカルロシミュレーションを組み合わせて潜在的な危険度を見積もる指標を算出します。LogicGateはまた、「Value Realization Tool」によってビジネス上のトレードオフを評価するといった、より一般的な管理上の課題にも対応しています。これらを組み合わせることで、経営層はデータに基づいた意思決定を行うための一元的なレポーティングシステムを手にすることができます。

価格: デモを受けた後に価格が提示されます。

特徴: 従来型のスタックのガバナンスモデルとの深い統合。

最適な利用者: AIと従来型コードの両方に対するガバナンス管理が必要な、フルスタックの実装。

Mindgard

AIの攻撃対象領域は広範で多様、しかもその大部分が未知のものです。Mindgardのプラットフォームは、対象を絶えずつつき、混乱させようとするプログラムとAI群からなる「自動レッドチーム」として設計されています。発見、偵察、攻撃、防御の再評価というサイクルを絶え間なく回すことで、システムはリスクを探し出し、それを排除するためのガードレール改善策を提案します。主要なLLMやエージェントと連携するよう設計されており、迅速に展開して素早くセキュリティ評価を実施し——多くの場合——新たに塞ぐべき穴の一覧を提示してくれます。

価格: サンドボックス環境での無料プランがあり、大規模なワークフロー向けには個別見積もりになります。

特徴: 数百通りの潜在的脅威をテスト用に展開する自動レッドチームシミュレーター。

最適な利用者: 高い頻度での警戒を維持するセキュリティ研究者。

OneTrust

個人情報の管理やその他の法的制約への対応は、AIソリューションを開発するすべての人にとってますます重要になっています。学習用データセットに非公開データを混在させ始めた時点で、DevOpsチームには計画が必要になります。OneTrustは、同社が「継続的ガバナンス」と呼ぶ機能を提供しています。これは要するに、企業スタック全体にわたるカタログ化、モニタリング、フィルタリングを組み合わせたプラットフォームです。AIは、データベースやその他のコンプライアンス課題も管理するより大きなシステムの一部に過ぎません。目標は、適切な法的フィルターを提供することで、AI開発者がプロンプトやコンテキストウィンドウとの格闘に専念できるようにすることです。

価格: 問い合わせにより価格を提示。

特徴: 世界規模のコンプライアンス課題を追跡することを目的としたグローバルプライバシーコンプライアンスデータベース。

最適な利用者: 規制の厳しい大規模な多国籍企業。

Prompt Security

LLMへのアクセスに単一のゲートキーパーを設置するのが適切な解決策となる場合、Prompt Securityは、入出力されるデータをフィルタリングし、あらゆる種類の不正行為を監視するプロキシゲートウェイを提供します。このアプローチは「LLM非依存」とされており、エージェントの内部状態ではなく、入出力の精査に重点を置いています。Prompt Securityは、こうしたデータフローに対する詳細なコンテンツ検査を約束しており、これはPIIやその他の保護対象情報の漏洩を検知するうえで不可欠な機能です。このアーキテクチャにより、社内外を問わずさまざまなAI駆動型アプリケーションとの統合も容易になります。

価格: 開発者向けのオープンソースツールがあり、展開に関するフルサポートは営業チームから受けられます。

特徴: 知見の深化を図る「AI Security Academy」。

最適な利用者: オープンソースの力を活用できるチーム。

Protect AI

危険はスタックの深部、しばしば見えにくい場所に潜んでいるものです。Protect AIのツール群は、パイプライン全体を調べ上げ、欠陥や弱点、隠れた問題を洗い出します。最も外部向けのツールである「Guardian」は、設定可能なルール群を用いてCI/CDパイプラインの一部としてデータフローを深く調べる一連のスキャナーです。その相棒である「Recon」は、あらかじめ定義された攻撃パターン集を用いて即座にテストを行う自動レッドチーム機能を提供します。3つ目の「Layer」は、AIセキュリティを一般的なサイバーセキュリティツールと統合し、包括的な防御を構築します。最後に、「LLM Security」と「ModelScan」という2つのオープンソースプロジェクトが、局所的かつモデルに依存しない解決策を提供します。

価格: モデル数、パイプライン数、エージェント数に基づくカスタム価格。

特徴: データパイプライン全体を保護するためのエンドツーエンドの統合。

最適な利用者: 複雑なパイプラインとワークフローを保護するチーム。

Securiti.ai

AIに携わる誰にとっても最重要目標の一つは、たとえばデータベースからデータを共有する際のルールが、同じプラットフォーム上で稼働するすべてのLLMにも同様に適用されるようにすることです。Security.aiは、このプロセスをデータセキュリティポスチャー管理(DSPM)と呼んでいます。同社の一元的なプラットフォームは、企業内で稼働するすべてのエージェントを検索・特定・追跡したうえで、コンテキストセンシティブファイアウォール、データ最小化、データフローガバナンスといったツールでその挙動を制御します。数十種類のツールが連携し、ガバナンスとプライバシー配慮、データ管理を調和させる仕組みを構成しています。

価格: 利用量に基づくカスタム価格。

特徴: すべてのセキュリティ課題を結びつけるデータコマンドセンター。

最適な利用者: 独自のデータガバナンス課題を抱える、複雑なワークフローを持つ企業。