OpenAI自身も、セキュリティ分野にAI生成の低品質な報告があふれていることを認めました。
最先端AI企業であるOpenAIの幹部は火曜日、AIが生成した脆弱性報告がオープンソースのメンテナーを圧倒していると述べました。審査の負担が対応能力を超え、投稿の受け付けをやめたメンテナーもいるといいます。
この問題を語ったのは、OpenAIのサイバー担当エグゼクティブ・イン・レジデンスであるマイケル・アイエロ（Michael Aiello）氏です。火曜日にワシントンD.C.で開かれたDataTribe Challengeの質疑応答で、OpenAIの「Patch the Planet」プログラムと、品質や分かりやすさへの懸念からAIによる投稿を禁止するオープンソースのメンテナーの動きをどう見ているかを問われ、答えました。
「メンテナーが、AIから寄せられる何百件もの脆弱性報告にいちいち対応できないのは、エコシステム全体の問題です」とアイエロ氏は語りました。
同氏は、こうした大量の報告を自社のプログラムと対比しました。自社のプログラムでは、セキュリティ研究組織と連携して脆弱性を特定し、修正を開発して、影響を受けるプロジェクトへの取り込みを支援しています。同社のウェブサイトによると、これまでに661件のパッチを開発・テストし、そのうち458件がメンテナーに受け入れられ、各自が管理するプロジェクトに取り込まれました。
ただしアイエロ氏によると、Daybreakの関係者は、GitHubにメッセージを投げて後は成り行きに任せるのではなく、メンテナーと密に連携することが多いそうです。
同氏は、メンテナーが抱える負担の大きさにも言及しました。メンテナーは、AIが生成した数百件の報告に目を通し、有効性やセキュリティ上の影響を見極めたうえで、提案された修正を評価しなければならないことが少なくありません。
「多くの場合、ある程度は実在するバグだと思います」と同氏は述べました。「問題は、それが重大なバグなのか、そしてメンテナーが時間を割く価値のあるバグなのかです。…結果として、メンテナーは投稿の受け付けをやめてしまいました」
アイエロ氏は、オープンソースのメンテナー向けに脆弱性を開示する人々へのアドバイスも示しました。発見内容の品質を裏付ける作業を増やすこと、分かりやすい報告書を書くこと、報告の提出後に開示を調整するためのリソースを確保することです。
「報告の品質を本当に高くし、一人の担当者が無理なく読める内容にしてください。そのうえで、自分自身のリソースを使って脆弱性の開示を調整するのです」と同氏は述べました。「今では、エコシステム全体で脆弱性の開示を調整する必要があります。それ自体がもう一つのプロジェクトです」
アイエロ氏は、こうした調整の例として、OpenAIが最近のPHPの脆弱性で行った取り組みを挙げました。同氏によると、パートナーの研究組織が欠陥を発見し、OpenAIはPHP Foundationと協力して、検証、修正の開発、公開時期の調整を進めました。
「対応パートナーと連携し、実際にパッチを出すオペレーターとも連携する必要があります」と同氏は述べました。
このプロセスでは幅広い組織と調整し、技術的な審査からパッチの公開まで作業を続けました。アイエロ氏は、全工程を実行する難しさも認めました。
「では、すべてが完璧に進んだかというと、そうではありません」と同氏は述べました。「やりながら、少しずつ学んでいるところです」
翻訳元: https://cyberscoop.com/openai-ai-generated-bug-reports/
