AIモデルに潜む隠しバックドア脆弱性

AIの挙動を書き換えることは、多くの人が思っているよりもはるかに簡単で、しかもコストがかかりません。サイバーセキュリティの専門家であるKatie Paxton-Fear氏は、オープンなAIモデルに隠しバグを仕込んでみせました。驚くべきことに、この作業をわずか約1時間で完了させています。しかもテスト全体にかかった費用は100ドル未満でした。

失敗するようモデルを訓練する

同氏はまず、簡単な訓練だけでモデルにコーディングスタイルを変えさせられるかどうかを確認しました。ネットワークは新しいルールをすぐに学習し、元の書式に戻すよう明確に指示された後もそのルールを使い続けました。この予備テストがうまくいったことを受けて、同氏は本格的な隠しトラップの構築に取りかかりました。

システムを崩すのに必要だったテスト例は、わずか10件のみでした。この短い準備の後、ネットワークは重大な脆弱性を含むコードを頻繁に書くようになりました。この脆弱性を悪用すれば、攻撃者は遠隔からコマンドを実行できてしまいます。残念ながら、この不正なロジックは新しいタスクや未知の分野においても、活動を続けたままでした。

オープンウェイトの危険性

Katie Paxton-Fear氏による投稿スレッドによると、巨大なモデルほど、こうした隠しトラップを小規模なモデルより容易に受け入れてしまうといいます。根本的な問題は、単なる仕様変更にとどまりません。実際、こうした秘密裏の攻撃を発見することは非常に困難です。モデルの重みへの自由なアクセスがあったとしても、そのネットワークが実運用でどう振る舞うかまでは分からないのです。確かに、通常のプログラムであれば標準的なツールを使って分解し、解析することができます。しかし、現代のAIモデルの中核ロジックを完全に解明することは、現時点では不可能なままです。

隠しプロンプトによるデータ窃取

Originのトップセキュリティ専門家であるDavid Kaplan氏も、以前これとよく似たテストを実施しています。同氏は、創薬研究タスクの最中にデータを盗み出す、細工されたモデルを構築しました。LoRAバックドアの概念実証(PoC)を見れば、このネットワークが標準的なメールツールを使って詳細情報をひそかに送信する様子が分かります。その結果、ユーザーはデータ窃取が進行中であることについて、一切の警告を受けませんでした。

このケースは、スマートシステムに対する標準的な攻撃とは大きく異なります。不正な命令は、外部のWebページやファイルから来るものではありません。その代わり、危険はモデル自体の内部に潜み、通常のタスク実行中に発動するのです。

サプライチェーンの危機

通常のソフトウェア開発では、開発チームは連携する外部ファイルの中に潜む不正コードを見つける方法を心得ています。各パーツを容易に追跡でき、攻撃による被害も限定できます。しかし、AIサプライチェーン問題に関する最近の投稿でも論じられているとおり、こうした防御策はAIツールに対しては効果が薄いのが実情です。細工されたネットワークは、エラーを表示することもシステムをクラッシュさせることもなく動作し続ける可能性があります。それでいて、判断や、ソースコード、機密性の高いデータ処理タスクを静かに書き換えてしまうことがあるのです。

オープンなモデルは、リリース前に悪意ある行為者によって改変され得るため、こうした攻撃に対して極めて脆弱です。一方で、企業の非公開システムについても検証は容易ではありません。開発元は非公開のユーザーデータへのアクセス権を得ていますが、自社のモデルがどのように事実を処理し最終判断を下しているかについては、ほとんど公表しないのが実情です。