最近のAI生成コードは「動く」ことが多く、開発者のチェックが甘くなりがちです。CISOはセキュリティチェックを、コードが書かれる現場の近くへ移す必要があります。
ITマネージャーは、会社が学校を出たばかりの「バイブコーダー」を雇っていたことを知りませんでした。数カ月後に顔を合わせたとき、その新人はすでに、顧客データや非公開の契約書を扱うWebアプリケーションを作り上げていました。
このアプリは、新人が管理するドメイン上で動き、データはSupabaseの無料プランに保存され、GitHubリポジトリからCloudflareのサーバーレス基盤へ直接デプロイされていました。
「彼は、世界中のサーバー上で、すべてをバイブコーディングでそのまま本番環境に投入しています」と、ITマネージャーはRedditに書き込みました。「うちはEUの会社です」
AIが生成したコードを読んだのか、セキュリティ対策はしたのかと尋ねられると、新人は「GitHubのリポジトリは非公開です」と答えました。
ITマネージャーはこの懸念をCEOに伝えましたが、CEOは「放っておけ」と取り合いませんでした。
多くの組織で、バイブコーダーはセキュリティをほとんど考えずにソフトウェアを作っています。そうしたアプリは役目こそ果たしますが、時限爆弾でもあります。
オープンソースプロジェクトの実際の機能要望186件で構成するベンチマーク「SusVibes」では、セキュリティ面の指示がなく機能の説明だけを与えられたエージェントが、最大57%の確率で動作するコードを生成しました。ところが、安全だった解決策は11.8%にとどまりました。
「私たちが確認した失敗は、不注意によるミスではありませんでした」と、SusVibesの論文を執筆したカーネギーメロン大学言語技術研究所のDanqing Wang氏は話します。「そうした欠陥を見抜くには、機能がどうあるべきかだけでなく、攻撃者に何ができるかを考える必要があります」
とりわけ今年変わったのは、AIコード生成ツールが動くコードを作るのがあまりにうまくなり、人々がそのまま信用してしまうようになった点だと、Semgrepのスタッフセキュリティアドボケートを務めるKatie Paxton-Fear博士は指摘します。「AIのコード生成が今より下手だった頃と比べて、開発者は批判的に見なくなっています」
マーケティング部門のバイブコーダーであれ、生産性を高めたいベテランのエンジニアリングチームであれ、AI生成コードはCISOにとってますます大きなセキュリティ上の懸念になっています。その大きな要因はコードの量ですが、AIはコードベースの欠陥を見つける能力が非常に高いと実証されている一方で、自らが新たな欠陥を持ち込まずにコードを提供することにはまだ長けていません。
AI生成コードは「信頼できない入力」として扱う
Claude Code、Cursor、GitHub Copilot、Amazon Q Developerといった主要なAIコーディングエージェントは、開発者の定番ツールになりました。CIOも、ビジネス部門のユーザーに自分のアプリをバイブコーディングさせる動きを強めています。
しかし、AI生成コードがあらゆる場所に現れる以上、CISOに残された選択肢は一つだけです。Datadogのエンジニアリング担当VPであるBianca Lankford氏は、それを「コードベースに入る資格を自ら証明しなければならない、信頼できない入力として扱うこと」だと言います。
そのために、セキュリティリーダーはセキュリティチェックをコードが書かれる場所の近くへ移しています。静的解析、シークレットスキャン、依存関係チェックをすべてのプルリクエストで実行し、さらに開発者のエディタ上でも実行するケースが増えています。
「企業は特定のAIツールを承認し、アシスタントがアクセスできる範囲を制限しています。レビュー担当者には、古いライブラリ、不十分な入力検証、過度に緩いデフォルト設定といった、AIにありがちなミスを見抜く訓練もしています」とLankford氏は付け加えます。
情報セキュリティベンダーMimecastのCISO、Leslie Nielson氏は、AIでコードを書いても、そのコードに対する開発者の責任はなくならないと語ります。「リリースされるAI支援の変更には、すべて担当者の名前がつきます。それは前提とするのではなく、プルリクエストに記録します」と同氏は言います。「AIは提案できます。承認できるのは人間だけです」
組織がレビューすべきコードの量は増える一方で、すべてを手作業で確認するのは不可能な場合もあります。そのためNielson氏は、セキュリティリーダーに自動チェックと人間の判断を組み合わせるよう勧めています。
「既知で繰り返しの多いもの、たとえば依存関係チェック、シークレット検出、標準的な脆弱性パターンには自動化を使います」と同氏は話します。「アクセス、認証、機密データに関わるものは、必ず人間が責任を持ちます。そうした分野は、スキャン結果がどれほどきれいでも、必ず専門のレビュー担当者に回します」
Datadogのランクフォード氏は、専門家を入れるかどうかは、誰(人間かAIか)が書いたかではなく、そのコードが何を危険にさらしうるかで決めるべきだと言います。「認証、暗号、決済、個人データ、インフラに関わる変更はすべて専門家に回します。コードオーナーのルールを使えば、そうした変更を自動的に振り分けられます」と同氏は述べます。「ほかにも、差分の大きさ、新しい依存関係、権限やネットワーク公開範囲の変更が有用なシグナルになります」
狙いは、人間のレビュー担当者の注意力を守ることです。「リスクの低い変更に埋もれたレビュー担当者は、レビューをしているのではありません」とNielson氏は付け加えます。「承認しているだけです」
もう一つの優先事項は、コードの背後にある知識を残すことです。「生成AIはソフトウェアを作れても、理解を生み出すことはできません」と、セキュリティ専門家でテック活動家のAlex Ștefănescu氏は指摘します。「ドキュメント、しっかりしたテストスイート、これまでに下した重要なアーキテクチャ上の判断すべてを書き留めた記録があれば、セキュリティインシデントが起きたときや複雑な問題をデバッグするときに、開発者と組織は膨大な時間を節約できます」
こうしたものはすべて、人間が作成・維持し、人間が使うことを前提にすべきで、生成アルゴリズムに丸投げしてはならないとŞtefănescu氏は付け加えます。
AI生成コードに潜むリスク
AI生成コードでよくある懸念の一つが、サードパーティライブラリや、マニフェストファイルに明示されていない依存関係である「ファントム依存関係」の混入です。こうした未報告のソフトウェアパッケージはスキャンで特定されない可能性があり、脆弱性が潜んでいてもおかしくありません。
対策の一つは、ソフトウェア構成分析(SCA)やソフトウェアサプライチェーンセキュリティのツールを使うことです。使用中のライブラリに加え、そこから生じる脆弱性や、法務・コンプライアンス上の問題を把握できます。
AI生成コードに限った話ではありませんが、開発者がHugging Faceなどのプラットフォームから機械学習(ML)モデルやデータセットをダウンロードする場合にも、組織はリスクにさらされます。
「双方でセキュリティチェックがあっても、モデルにバックドアが仕込まれていて、組み込んだ時点で有効になる可能性はあります」とŞtefănescu氏は言います。「最終的には、悪意あるモデルを使った企業からデータが漏えいするおそれがあります」
GitHub Copilotなどのツールが備えるコーディングエージェントやコード補完機能について、Ștefănescu氏が懸念するのはハルシネーションです。「LLMは、与えられたプロンプトに対して統計的にもっとも確率の高い続きを生成するだけです。たとえば『import』の後に、PyPIに実在するパッケージが出てくる保証はありません」と同氏は話します。「これに気づいている攻撃者もいます。コード補完ツールが提案しそうな機能を実装し、npmやPyPIなどのプラットフォームにそのパッケージ名を登録して、正規のパッケージに見せかけるのです」
こうしたパッケージが実際のアプリケーションにインポートされれば、深刻な被害を招きかねません。
開発者がAIコーディングツールを使うことで、機密情報が意図せずコードベースに漏れることも、重要な懸念です。
こうしたリスクに対処するため、CISOはHugging Faceなど外部プラットフォームからMLモデルやデータセットをダウンロードし、統合する際のプロトコルを定められます。該当する場合は、そのプロトコルをAIコードエージェントの指示ファイルにも盛り込むことが重要です。プロトコルには、悪意あるコードやバックドアを検出する自動スキャンツールの導入、検証済みの発行元のモデルしか使えないとするポリシーの策定、隔離環境での社内テストなどが考えられます。
AIベースのコードは、ソフトウェアエンジニアぞろいのチームだけから生まれるわけではありません。「組織内では、データアナリスト、マーケティングチーム、研究者などが導入を牽引するケースを数多く目にします」と、Endor Labsのスタッフリサーチエンジニア、Darren Meyer氏は話します。
こうしたチームは、本来は自分たちでソフトウェアを開発する立場ではありません。それでもAIライブラリやモデルを使った簡単なツールを書くことが増えており、関わるリスクに気づいていないことが多いのです。「シャドーエンジニアリングと、平均を下回るアプリケーションセキュリティ意識が重なると、リスクの温床になりかねません」と同氏は付け加えます。
こうしたチームが安全に作業できるようにするには、CISOが早い段階で彼らと関係を築くことを検討すべきです。サイバーセキュリティのリーダーは、従来型ではない開発チーム向けの研修プログラムを用意し、データアナリスト、マーケティング担当者、研究者にAIベースのツールやライブラリに潜むリスクを教育することも考えるとよいでしょう。
防御への投資
「セキュリティ予算は、通常、ソフトウェア開発が加速するペースでは増えません。AIの導入が、その差をさらに広げています」とMeyer氏は言います。 多くの組織でアプリケーションセキュリティの予算は不足しがちですが、AIの導入とAI支援のコーディングで開発が加速する以上、十分な時間とリソースを割くことが不可欠です。
「このギャップを埋める助けになる、高品質なセキュリティツール群はもはや必須です」とMeyer氏は言います。「ツールはギャップを埋めるうえで欠かせませんが、開発者、それも従来型ではない開発者とも効果的に連携し、AIの技術面、コンプライアンス面、セキュリティ面での影響を理解できるAppSecやProdSecの人材も同じくらい重要です」
AIシステムを守るための十分なリソースを確保しようとすると、これを重要な投資ではなく、あってもなくてもよい支出と見て、ためらう関係者もいるかもしれません。「AIの導入は多くの組織で意見が割れるテーマです。全面的に推進するリーダーやチームもいれば、強く抵抗するところもあります」とMeyer氏は話します。「この緊張関係は、洞察力のあるCISOやBISO(事業部門の情報セキュリティ責任者)にとって難題になりえます」
導入の利点と欠点の両方を理解しているCISOは、リスクを効果的に管理するための統制を設けようとするかもしれません。しかし、その意図を適切に説明しなければ、組織のイノベーションの足を引っ張っていると受け取られるおそれがあります。 「組織には、AIツールがもたらす生産性の向上と、堅牢なセキュリティ対策とを両立させる包括的な戦略が必要です」と、GitGuardianのシニアテクニカルライター、Thomas Segura氏は述べます。
CISOが実施すべき費用対効果の高い施策
では、セキュリティリーダーが使える期間は90日、余裕のある予算はゼロだとしたら、どの施策がもっとも効果的でしょうか。
Datadogのランクフォード氏は、平易な言葉で書いた短いAIツールポリシーがあれば、期待される行動を明確にできると言います。最低限、従業員が使えるツール、共有してよいコードとデータ、専門家のレビューが必要な変更を明記すべきです。目的は、作業中に使える答えを従業員に示し、迷ったときの連絡先をはっきりさせることです。
従業員はポリシーを回避したいわけではないと理解しておくことも重要です。彼らはただ、摩擦なく、承認に何週間も待たされることなく仕事を終わらせたいだけです。適切なツールを与えれば、安全な道を選びやすくなります。
反対に、ツールを禁止してもうまくいきません。従業員は何らかの方法で使い続けるからです。禁止はAIの利用を見えない場所へ押しやり、書かれているコードや共有されているデータに対するセキュリティチームの可視性を下げてしまうと、MimecastのNielson氏は指摘します。
CISOは開発プロセス全体を見渡し、どこに介入でき、各段階でどのリスクに対処できるかを見極める必要があります。「各層で何に影響を与えられ、どの脆弱性に手を打てるかを理解してください。設計段階、CLAUDE.mdファイル、エージェントがコードを書いている最中、プルリクエスト、AIによるペネトレーションテストの一環など、いくつもの場面があります」と、SemgrepのPaxton-Fear氏は話します。
AIコード生成ツールを使う従業員には、セキュリティが暗黙の文脈の中にあることも説明しておくべきです。脅威モデル、信頼境界、攻撃者が何を制御できるかといったことです。「エージェントはこうした点について確実に計画したり推論したりできないため、唯一のシグナルである、与えられた機能の説明を満たすことだけに最適化してしまいます」と、カーネギーメロン大学のWang氏は説明します。
問題が起きたときには、組織の人々が、承認されていないどのツールを使ったか、どのデータを共有したかも含めて、安心してセキュリティ部門に伝えられる環境が必要です。処罰を恐れると、その報告が遅れ、チームは全体像がつかめないまま問題を封じ込めようとすることになります。
「取り締まりではなく、免責を提示してください。そうすれば、何を使っているのか本当のことを話してくれます」とNielson氏は助言します。
翻訳元: https://www.csoonline.com/article/3633403/how-organizations-can-secure-their-ai-code.html