AI生成コードは出荷が速いが、クラッシュも激しい

人工知能のコーディング支援ツールは、人間よりも速くコードを書きます。しかし、よりバグの多いコードも書きます――ただし、そのことは誰もマーケティング資料には載せません。

コードレビュー・ツールのCodeRabbitの研究者は、GitHub上のオープンソースのプルリクエスト470件を分析し、AIが共同作成した提出物と人間のみの貢献を、ロジック、保守性、セキュリティ、パフォーマンスの観点で比較しました。

AI生成のプルリクエストは1件あたり平均で約11件の問題を含み、人間が生成した提出物の約6件と比べて多く、その結果、レビューサイクルが長期化し、欠陥が本番環境に到達するリスクが高まりました。

量だけでなく、AIの関与によりバグの深刻度も増しました。CodeRabbitは、システム障害、セキュリティ侵害、データ損失を引き起こし得るものを「クリティカル」、機能や性能に大きな影響を与えるものを「メジャー」として問題を分類しています。どちらのカテゴリも、機械が書いたコードで大幅に多く見られました。

AI生成コードは、複数の脆弱性カテゴリで有意に高い発生率を示しました。不適切なパスワード取り扱いは88%増加し、安全でないオブジェクト参照は91%増、クロスサイトスクリプティング（XSS）の脆弱性はほぼ3倍に増え、人間の開発者と比べて安全でないデシリアライゼーション実装は82%増加しました。

CodeRabbitのAIディレクターであるDavid Lokerは、これらの結果を業界全体の観察と結び付けました。「これらの発見は、2025年を通じて多くのエンジニアリングチームが感じてきたことを裏付けるものです」とLokerは述べました。「AIコーディングツールはアウトプットを劇的に増やしますが、同時に、組織が能動的に軽減しなければならない、予測可能で測定可能な弱点も持ち込みます。」

AIによるコード生成の利用は業界全体で拡大しており、組織はエンジニアリング速度の向上や反復作業に費やす時間の削減といった効果を主張していますが、品質への影響がいまやより明確になりつつあります。今年初めにAIツールを使ってネットワーキングアプリケーションを構築したある開発者は、AIが「コードフリーズ中に暴走」してデータベース全体を削除したとツイートしました。7月に公表されたランダム化比較試験では、AIツールを使った開発者は速度が20%向上したと信じていたものの、実際には19%遅くなっていたことが示されました。

この研究は、AIが人間の開発者を上回った領域を2つ特定しました。機械はスペルミスが少なく、テスタビリティ（テスト容易性）の問題が少ないコードを生成しました。

この調査はオープンソースのGitHubリポジトリのみに基づいており、CodeRabbitはこの手法には限界があることを認めています。同社は、人間が作成したとラベル付けされたプルリクエストにAI支援が一切含まれていないことを確実には検証できないと述べました。AI共同作成の提出物320件には明示的なAIラベルが付いていた一方、人間のみの150件にはそのような印はありませんでした。

これらの結果は、AIによるコード生成に関するいくつかの先行する学術研究ともやや対照的です。ナポリ大学の研究者による8月の論文では、AI生成のPythonおよびJavaコードは「一般により単純で反復的だが、未使用の構成要素やハードコードされたデバッグが含まれやすい。一方、人間が書いたコードは構造的複雑性が高く、保守性の問題がより集中している」と述べています。

オーストラリアのモナシュ大学とニュージーランドのオタゴ大学の研究者は、1月に、GPT-4がしばしばより複雑なコードを生成し、保守性のために追加の手直しが必要になる可能性がある一方で、タスク全体で人間が書いた提出物と比べてGPT-4生成コードのほうがより多くのテストケースに合格したことを示す結果を公表しました。

Microsoftは今年、1,100件を超えるCVEを修正しており、Trend Microの研究者Dustin Childsによれば、これは2020年以降、件数ベースで2番目に多い年です。MicrosoftのCEOであるSatya Nadellaは以前、特定のリポジトリでは最大40%がAI由来だと述べており、Copilot Actionsも別途、「コンピューター上でエージェントを有効にすることのセキュリティ上の影響」について注意喚起する文言を含めています。Childsは、Microsoftのポートフォリオが拡大しAI由来のバグがより一般的になるにつれ、来年はCVE件数がさらに増える可能性が高いと記しました。