DeepSeekによって露呈されたオープンソースAIのセキュリティ脅威

4分で読む

出典: Michele Ursi via Alamy Stock Photo

コメント

最高クラスのパフォーマンスと、はるかに低い開発コストを謳う DeepSeekのR1モデル は、今年初めに世界のAIコミュニティを驚かせ、Nvidiaの株価を急落させました。メディアの激しい報道のおかげで、多くのユーザーが急速に導入し、記録を打ち立てました。DeepSeek-V3（類似のモデル）に基づくAIアシスタントアプリは、Apple App Storeで最もダウンロードされたアプリのチャートをすぐにトップに立ち、最初の18日間で1600万ダウンロードを記録しました。同期間中、米国のライバルであるOpen AIのChatGPTアプリは900万ダウンロードでした。また、Googleのアプリストアでも最もダウンロードされた無料アプリでした。

今日のAIツールと同様に、ユーザーはすぐにR1モデルの多くの機能を職場で活用し始め、セキュリティ専門家はDeepSeekのセキュリティとプライバシー設定についての問題に取り組むことを余儀なくされました。 初期の研究 が中華人民共和国政府の支援を受けた組織へのデータ流出を明らかにし始めると、米国政府の役人や企業の幹部はその使用を制限し始めました。現在までに、9つの州が州政府の職員による使用を禁止する法律または法案を持っています。

多くのDeepSeekの脆弱性とリスクはすでに明らかにされていますが、組織内でオープンソースAIプラットフォームを使用する際にセキュリティおよびコンプライアンスの専門家が考慮すべきリスクのカテゴリがあります。リスクを分類する目的で、生成AI（GenAI）ツールの4つの独立した要素があります。それは、

関連記事:LLMを軌道に乗せるための設計、エンジニアリングの課題

これらの各要素には、それぞれ独自のリスクがあります。

オープンソースAIのリスクは報酬を上回る

GenAIプラットフォームは、GPU、ストレージ、アプリケーション（ユーザーインターフェースを含む）などのコンピューティングリソースで構成されており、他のコンピューティングプラットフォームと同様に、国家標準技術研究所サイバーセキュリティフレームワーク（NIST CSF）やインターネットセキュリティセンター（CIS）クリティカルセキュリティコントロールのようなフレームワークに一致するセキュリティコントロールを適用して保護する必要があります。この領域でのリスク（不正アクセス、マルウェア、サービス拒否、ランサムウェアなど）と関連する緩和策はよく知られています。プラットフォームの妥協や劣化は、その計算能力に依存する重要なビジネス機能に悪影響を及ぼす可能性があるか、GenAIプラットフォームに基づく製品やサービスの有用性を損なう可能性があります。

関連記事:Marks & Spencer、サイバー攻撃による4億ドルの損失を予測

「オペレーションの頭脳」は独自のリスクをもたらす可能性があります。誤った結論や危険な結論のリスクは既知であり、幻覚を含み、モデルの有効性、信頼性、使用性を損ないます。モデルの「思考プロセス」にバイアスが存在し、人間のバイアスを助長または悪化させる可能性があります。バイアス調整はモデルのトレーニングプロセスの重要な部分であるため、合理的で客観的な、人間らしい結果を導くようにニューラルネットワークを調整する際には特に注意が必要です。

オープンソースのGenAIツールは独自のものでないため、責任のリスクもあります。ツールの維持や更新を担当する法的なエンティティが存在しないため、その使用に関連するすべての結果についてエンドユーザーが責任を負うのでしょうか？組織が意思決定や顧客体験を推進するオープンソースツールを使用し、何か悪いことが起きた場合、組織はどれだけの責任を負わされるのでしょうか？

DeepSeekやChatGPTのような生成AIプラットフォームをプロンプトするプロセスには微妙なリスクがあります。ユーザーは意図的または無意識に機密性の高いデータを入力する可能性があります。これはデータ漏洩を構成する可能性があり、そのようなデータが一般的に共有されるプラットフォームにクエリやプロンプトを入力する過程で組織から流出したことを意味します。また、そのデータがプラットフォームからデータを制御または受け取るエンティティに流れる可能性があります。例えば、DeepSeekの中国政府支援の組織へのデータ流出に関する実際の懸念は、組織や政府が警戒すべき十分な理由です。

関連記事:未修正のWindowsサーバーの欠陥がActive Directoryユーザーを脅かす

一方で、ユーザーのデータ出力には機密性の高い情報が含まれる可能性があります、これにより、独自の製品設計や人事データの下流への漏洩が引き起こされる可能性があります。場合によっては、AIプラットフォームが保護されたデータが最初に入力されていない場合でも、トレーニングデータセットやユーザープロンプトに基づいて、保護された性質のデータを推測または推定することができるかもしれません。例えば、公開されているデータから得られた個人に関する手がかりが、AIプラットフォームに実在の人物に関する保護されたデータ（名前、住所、病状など）を正しく「推測」させる可能性があります。

もう一つの懸念事項は、悪意のある行為者が巧妙なプロンプトエンジニアリングを通じてAIプラットフォーム内の安全性コントロールを脱獄する能力です。最近、セキュリティ研究者は、モロトフカクテルや自家製爆弾の作り方を学ぶことを防ぐためにDeepSeekの設計者が意図的にコード化した内部コントロールを効果的に無効化するために、仮説的な位置付けや学術研究やフィクションの物語を通じた正当化を含む一連の巧妙に言葉を選んだプロンプトを入力することによって、DeepSeekの安全性コントロールを回避することができました。

これらのリスク — プラットフォーム、頭脳、入力データ、出力データのリスクとして分類される — は慎重に考慮され、最終的には軽減されなければなりません。そうすることで、すべての組織やユーザーにとって安全でセキュアな方法で生成AIの多くの利点を享受することができます。