LangSmithのバグが悪意のあるエージェントを通じてOpenAIキーとユーザーデータを露出する可能性

サイバーセキュリティ研究者は、APIキーやユーザープロンプトを含む機密データを取得するために悪用される可能性があるLangChainのLangSmithプラットフォームの、現在は修正されたセキュリティの欠陥を公開しました。

この脆弱性は、最大10.0のうち8.8のCVSSスコアを持ち、Noma SecurityによってAgentSmithというコードネームが付けられました。

LangSmithは、ユーザーがLangChainを使用して構築されたものを含む大規模言語モデル（LLM）アプリケーションを開発、テスト、監視することを可能にする可観測性と評価のプラットフォームです。このサービスはまた、すべての公開リストされたプロンプト、エージェント、モデルのリポジトリとして機能するLangChain Hubを提供しています。

「この新たに特定された脆弱性は、’Prompt Hub’にアップロードされた事前に設定された悪意のあるプロキシサーバーを含むエージェントを採用する無防備なユーザーを悪用しました」と研究者のSasi LeviとGal MoyalはThe Hacker Newsに共有されたレポートで述べています。

「採用されると、悪意のあるプロキシは、APIキー（OpenAI APIキーを含む）、ユーザープロンプト、ドキュメント、画像、音声入力などの機密データを含むすべてのユーザー通信を密かに傍受しました。」

攻撃の第一段階は基本的に次のように展開されます：悪意のある行為者が人工知能（AI）エージェントを作成し、プロキシプロバイダ機能を通じて自分の管理下にあるモデルサーバーで設定します。この機能により、プロンプトをOpenAI APIに準拠した任意のモデルに対してテストすることができます。攻撃者はその後、エージェントをLangChain Hubで共有します。

次の段階は、ユーザーがLangChain Hubを通じてこの悪意のあるエージェントを見つけ、入力としてプロンプトを提供して「試してみる」ことを進めるときに始まります。そうすることで、彼らのエージェントとのすべての通信が攻撃者のプロキシサーバーを通じて密かにルーティングされ、ユーザーの知識なしにデータが流出します。

取得されたデータには、OpenAI APIキー、プロンプトデータ、およびアップロードされた添付ファイルが含まれる可能性があります。脅威行為者は、OpenAI APIキーを武器化して、被害者のOpenAI環境に不正アクセスし、モデルの盗難やシステムプロンプトの漏洩など、より深刻な結果を引き起こす可能性があります。

さらに、攻撃者は組織のAPIクォータを使い果たし、請求コストを上げたり、OpenAIサービスへのアクセスを一時的に制限したりする可能性があります。

それだけでは終わりません。被害者がエージェントを企業環境にクローンし、埋め込まれた悪意のあるプロキシ設定とともに導入することを選択した場合、彼らのトラフィックが傍受されているという兆候を与えることなく、攻撃者に貴重なデータを継続的に漏洩するリスクがあります。

2024年10月29日の責任ある開示に続いて、脆弱性は11月6日に展開された修正の一環としてLangChainのバックエンドで対処されました。さらに、パッチは、カスタムプロキシ設定を含むエージェントをクローンしようとする際にデータ露出についての警告プロンプトを実装しています。

「不正なAPI使用による予期しない財務損失の即時のリスクを超えて、悪意のある行為者はOpenAIにアップロードされた内部データセット、独自モデル、営業秘密、その他の知的財産に持続的にアクセスし、法的責任や評判の損害を引き起こす可能性があります」と研究者たちは述べています。

新しいWormGPTのバリアントの詳細#

この開示は、Cato Networksが、脅威行為者がxAI GrokとMistral AI Mixtralによって駆動される、以前報告されていない2つのWormGPTバリアントをリリースしたことを明らかにした際に行われました。

WormGPTは、脅威行為者がフィッシングメールを作成したり、マルウェアのスニペットを書いたりするために明示的に悪意のある活動を促進するように設計された無検閲の生成AIツールとして2023年中頃に開始されました。このプロジェクトは、ツールの作者が23歳のポルトガル人プログラマーとして暴露された後、間もなく終了しました。

それ以来、BreachForumsのようなサイバー犯罪フォーラムで、xzin0vich-WormGPTやkeanu-WormGPTなどの新しい「WormGPT」バリアントが広告されており、これらは「非倫理的または違法」であっても「幅広いトピックに対する無検閲の応答」を提供するように設計されています。

「’WormGPT’は今や、新しいクラスの無検閲LLMの認識可能なブランドとして機能しています」とセキュリティ研究者のVitaly Simonovichは述べました。

「これらの新しいWormGPTの反復は、ゼロから構築された特注モデルではなく、既存のLLMを巧みに適応させた結果です。システムプロンプトを操作し、違法なデータでファインチューニングを行う可能性があることで、作成者はWormGPTブランドの下でサイバー犯罪活動のための強力なAI駆動ツールを提供しています。」