生成AIがソフトウェアサプライチェーンのリスクを悪化させる

出典: Vladimir Stanisic via Alamy Stock Photo

コメント

生成人工知能（GenAI）はビジネスメールの作成には優れているかもしれませんが、ソフトウェアコードの作成には危険なほど不適切です。悪意のある行為者がAIで作成されたソフトウェアコンポーネントを悪用しており、これはソフトウェアサプライチェーンを保護する上で大きな課題となっています。この問題に対処するために、新しい透明性の要件が緊急に必要です。

その利点にもかかわらず、GenAIは「幻覚」に陥りやすく、モデルはもっともらしいが不正確または誤解を招く情報を生成します。最近の 研究 によれば、大学の研究者たちが 発見 したところ、16の異なる大規模言語モデル（LLM）— 大量の文章を吸収し、単語やフレーズの関連性を特定することで、次に続くテキストを予測するAIシステム — は、存在しないソフトウェアコンポーネントを自信を持って提案しています。悪意のある行為者は、AIが生成した偽のコンポーネント名に一致するマルウェアを作成し、何も知らない開発者がウイルスだらけのコードをダウンロードするように仕向けています。

多くの忙しい専門家と同様に、ソフトウェア開発者はますますAIアシスタントに依存しています。しかし、彼らはしばしば、オープンソースツールの作成者からの公式なドキュメントと照らし合わせることなく、AIが提案するツールを受け入れています。かつて開発者がパッケージを理解し安全に実装するために詳細なガイドを参照していたところ、今ではこのステップを省略し、ソフトウェアに重大な欠陥を導入するリスクを冒しています。

AIの幻覚は予測可能であるため、悪意のある行為者は低コストで高報酬の機会を利用して、自分たちのパッケージを正当なものとして通すことができます。まず、攻撃者はAIモデルに一般的なコーディングの質問を繰り返し投げかけ、モデルがどのパッケージ名を幻覚しやすいかを確認します。AIが頻繁に推奨する存在しないパッケージ名を特定したら、攻撃者はその正確な名前でソフトウェアパッケージを公開リポジトリや開発者向けの無料ダウンロード可能なコードをホストするウェブサイトに登録します。

何も知らないソフトウェア開発者がAIの提案を受け取ると、AIが推奨した名前に一致するソフトウェアを見つけ、それがマルウェアや隠れた脆弱性を含んでいる可能性を考慮せずにインストールしてしまいます。

これらのパッケージには、ユーザーのログイン情報にアクセスするための 資格情報を盗むマルウェア が含まれている可能性があります。また、攻撃者が企業のサーバーで動作させて利益を得るための 暗号通貨マイニング ソフトウェアが含まれている可能性もあります。さらには、国家の行為者に長期的なスパイ活動のための持続的なアクセスを提供することもあります。

悪意のある行為者による攻撃の増加

過去1年だけでも、悪意のある行為者はオープンソースソフトウェアリポジトリに何十万もの悪意のある パッケージ を アップロード しました。オープンソースエコシステムのこの悪用は、幻覚の頻度とLLMがその正確性を主張する自信と相まって、開発者がこのスキームの犠牲になるリスクを高めています。これは、ローカルおよびグローバルな ソフトウェアサプライチェーンの整合性を脅かします。

これらのサプライチェーンは、この種の腐敗に対して脆弱です。透明性の措置と審査のメカニズムが、せいぜい一貫して実施されていないからです。例えば、組織の 20%のみ が、ソフトウェアの構成要素を項目化するためにソフトウェア部品表（SBOM）を使用しています。成分リストがなければ、組織はソフトウェアの構成とセキュリティについての可視性が限られています。

SBOMの使用や脆弱性の開示を奨励または要求する努力は価値がありますが、全体の問題を解決するものではありません。これらのツールは、AIモデル自体がどのように脆弱性を導入するかを考慮していません。これらのツールはソフトウェアサプライチェーンの一部に透明性を提供しますが、AIモデルの信頼性、トレーニングデータの出所、リスクプロファイルを評価するものではありません。

実際、AIを使用する組織は、AIが生成した推奨を検証する自動システムを欠いていることが多く、開発者はパッケージの真正性を手動で確認する必要があります。このプロセスはエラーが発生しやすく、忙しい開発者が簡単に省略してしまう可能性があります。

AIの透明性に関する明確な要件が必要

この問題に対処するために、ソフトウェア開発エコシステムにはAIの透明性に関する明確な要件と専用のリスク開示フレームワークが必要です。このフレームワークは、トレーニングデータのソース、モデルのバージョン、既知の制限、セキュリティ機能などの主要な属性を文書化する必要があります。国家標準技術研究所（NIST）の サプライチェーンリスク管理 および 安全なソフトウェア開発 に関する既存のガイダンスは貴重なモデルを提供します。AIの出所、トレーサビリティ、改ざん耐性、バージョン管理の新しい標準の作成に役立てることができます。

同様に、NISTのフレームワークがソフトウェアサプライチェーンにおける開発者、統合者、ユーザーの役割と責任を定義しているように、AIガバナンスはAIモデルの作成者、展開者、エンドユーザー、およびこれらのシステムを監督する組織の明確な責任を確立する必要があります。問題が発生した場合、これにより透明性や監視の欠如がどこで発生したかを特定しやすくなり、連邦機関、組織、個人が責任の所在を明確にすることができます。これは、ソフトウェアサプライチェーンのセキュリティを確保するために使用されるガバナンス原則を反映しています。

最近の 研究 は、AIの幻覚がモデル固有のパターンに従うことが多いことを示唆しており、適切なプロンプトや内部チェックを用いることで、モデルが自らの誤った出力を特定し、フィルタリングする可能性があることを示しています。時間が経つにつれて、この自己監視能力はモデルの信頼性を向上させるのに役立ちます。自己規制型AIの開発を奨励しながら、同時に透明性基準を強制することは、AIシステムへの信頼を回復するためにバランスの取れたアプローチを提供します。

これらの対策を総合的に実施することで、ソフトウェアサプライチェーンのセキュリティを強化し、開発者が生成AIの可能性を受け入れつつ、そのリスクを慎重にナビゲートできるようになります。

著者について