OpenAIは、大規模言語モデル（LLM）アプリケーションの脆弱性を特定・修正するために設計されたAIセキュリティテストプラットフォーム「Promptfoo」を買収する計画を発表しました。
この動きは、OpenAIのエンタープライズプラットフォーム「OpenAI Frontier」内のセキュリティテスト機能を強化することを目的としており、企業が現実のワークフローでAIエージェントをますます導入しています。
この買収は、プロンプトインジェクション攻撃、データ流出、および危険な自動アクションを含むAIシステムに関連するセキュリティリスクに対する懸念の高まりを反映しています。
PromptfooのテクノロジーをFrontierに統合することで、OpenAIは企業に開発と導入の際にAIアプリケーションをテスト、監視、および保護するための組み込みツールを提供する計画です。
プラットフォームは敵対的シナリオをシミュレートして、ジェイルブレイクプロンプト、不正なデータ露出、AIモデルのポリシー違反などの脆弱性を検出します。
OpenAIによれば、フォーチュン500企業の25%以上が既にPromptfooのツールに依存してAIアプリケーションをテストしています。
同社はまた、LLMベースのシステムの自動テストを可能にする、広く使用されているオープンソースのCLIと開発者ライブラリを保有しています。
買収が完了すると、OpenAIはPromptfooのセキュリティテスト機能をFrontierプラットフォームに直接統合する計画です。
Frontierは、企業がビジネス運営全体にわたってタスクを自動化するAI駆動の「同僚」を構築・管理するのを支援するために設計されています。
OpenAIのB2Bアプリケーション担当CTO、Srinivas Narayananは、この買収がエンタープライズグレードのAIセキュリティを向上させると述べました。
「Promptfooは、エンタープライズスケールでAIシステムを評価、保護、テストするための深い技術専門知識をもたらします。
彼らの仕事はビジネスが安全で信頼性の高いAIアプリケーションを導入するのに役立ち、私たちはこれらの機能をFrontierに直接もたらすことに興奮しています」とNarayananは述べました。
組織がAIエージェントを機密データ、API、およびエンタープライズシステムと統合するにつれて、セキュリティテストは重要な要件になります。
Promptfooのテクノロジーは、AIモデルに対してセキュリティテストと敵対的プロンプトを自動的に実行することで、導入前にリスクを特定することに焦点を当てています。
これらの機能は、企業がAIシステムが時間とともに進化するにつれて、監視と説明責任を維持するのに役立つことを目的としています。
Promptfooの共同創設者兼CEO、Ian Websterは、この買収が現実世界のシステムとデータセットと相互作用するAIエージェント向けのセキュリティツールの開発を加速させると述べました。
「開発者がAIシステムを保護する実践的な方法を必要としていたため、私たちはPromptfooを開始しました。AIエージェントが実データとシステムにより接続されるようになるにつれて、それらを保護・検証することは、これまで以上に困難で重要になります」とWebsterは述べました。
買収にもかかわらず、OpenAIはPromptfooのオープンソースツールが引き続き保守・拡張されることを確認しました。
オープンソースプロジェクトは、開発者がプロンプトに対する自動テストを実行し、モデル応答を評価し、LLMアプリケーションに対する敵対的攻撃をシミュレートするために広く使用されています。
PromptfooのテストテクノロジーをOpenAIのエンタープライズプラットフォームと組み合わせることで、同社はAIセキュリティ、評価、およびガバナンスのためのより包括的なフレームワークを作成することを目的としています。
翻訳元: https://cyberpress.org/openai-acquires-vulnerabilities/