cURL開発者のDaniel Stenbergは、AnthropicのMythosが彼の人気あるオープンソースプロジェクトをスキャンするのを目撃しました。MythosはAI企業が公開するには安全上の脆弱性を発見する能力が高すぎると示唆しているモデルです。しかし、システムが1つの脆弱性しか見つけられなかった後、彼はMythosの周りの誇大宣伝は重大なAIセキュリティの突破口というより「主にマーケティング」だと結論付けました。
Stenbergは月曜日のブログ投稿で、AnthropicのProject Glasswingプログラムを通じてMythosへのアクセスが約束されたと説明しました。Glasswingの一部はLinux Foundationを通じて著名なオープンソースプロジェクトにアクセスを提供することを含んでいますが、StenbergはMythosを試すためにサインアップしたものの、実際にはモデルへの直接アクセスを受け取らなかったと述べています。代わりに、アクセス権を持つ他の誰かがMythosをcurlのコードベースに対して実行し、後に彼にレポートを送りました。
「私は多くの異なるプロンプトを探索し、深いダイブの冒険をするための多くの時間を持たないだろう」とStenbergは説明しました。「ツールに最初の適切なスキャンと分析を生成させることは素晴らしいことでしょう、それが誰によって行われたとしても。」
curlのgitリポジトリの最近のマスターブランチコミットを分析したそのスキャンは、今月初めに彼に送り返され、cURLの「確認されたセキュリティ脆弱性」であると主張する5つのものを見つけました。脆弱性の広範なリストを予想していたと言って、Stenbergはレポートが「何もないような感じがした」と書き、その感覚はMythosの調査結果のレビューによってさらに検証されました。
「私のcurlセキュリティチームの仲間たちと私がこの短いリストを数時間かけてつつき、詳細に掘り下げた後、私たちはリストを削減し、1つの確認された脆弱性が残りました」とStenbergは述べ、上記の数字に戻ります。
他の4つについては、3つはAPI文書で既に注記されているcURLの短所を指摘する偽陽性であることが判明し、チームは4番目は単なる単純なバグと見なしました。
「単一の確認された脆弱性は、6月下旬に予定されているcURL次版8.21.0リリースとの同期で公開される予定の低重要度CVEになります」とcURLの巨匠は述べました。「この欠陥は誰かが息を呑むことはありません。」
そうは言っても、Mythosは他のいくつかの非セキュリティバグを見つけ、Stenbergはチームが修正に取り組んでいると述べています。また、これらの説明と説明はよくできていたと指摘しています。つまり、Mythosは良い仕事をすることができますが、それはAnthropicが主張しているような革新的でゲームを変えるようなAIモデルではありません。
「しかし、私の個人的な結論は、これまでこのモデルの周りの大きな誇大宣伝は主にマーケティングであったという他の何物でもあり得ません」とStenbergはブログ投稿で述べました。「このセットアップが他のツールがMythos前に行ったより、特に高い、またはより高度な度合いでいずれかの問題を見つけることを示す証拠は見ません。」
cURLコードはAIに見知らぬものではない
cURLがその近30年の存在の中で広く使用されるようになったと言うことは控えめな表現でしょう。その広い到達範囲は、そのチームがAI時代の夜明け前からあらゆる種類の静的コード分析器を通じてそれを実行し、ファジングテストをしていることを意味しました。AIの台頭により、cURLチームは適応しており、MythosがcURLのコードベースに指を入れるのは初めてのAIではありません。
「これらのツールと彼らが行った分析は、最近の8～10ヶ月間でcURLにマージされたどこか200～300のバグ修正を引き起こしています」とStenbergは、AILEやZeropath、OpenAI Codex SecurityなどのcURLコードをテストしたツールについて述べました。「これらのAIツールが報告した調査結果の多くは確認された脆弱性であり、CVEとして公開されています。おそらく1ダース以上。」
つまり、StenbergのcURLをテストするAIでの経験は、Mythosが平均以上のものを見つけることができるどの程度の効果があるかを確認するための優れた候補になります。
Stenbergが彼のブログ投稿の別の場所で指摘したように、Mythosはセキュリティ発見に関しては特に新しいことをしていません。前のモデルより物事を見つけるのに少し良いかもしれませんが、「コード分析に有意な影響を与えるほど良くはないです」とcURLの著者は指摘しました。
ただし、Stenbergはソフトウェア設計を改善する能力に関してはAI悲観主義者ではありません。彼は5月初めにcURLバグ報奨金プログラムを閉鎖したかもしれませんが、これは粗雑で無用なバグレポートの殺到のためでしたが、彼はまた報奨金の閉鎖の数ヶ月前に、AIに支援されたいくつかのセキュリティ研究者が価値のあるレポートを行ったことに気づきました。
「AIを搭載したコード分析機は、過去の任意の従来のコード分析機よりもソースコードのセキュリティ欠陥とミスを見つけるのに大幅に優れています」とStenbergは述べ、Mythosの瞬間に重要な限定条件を追加しました。「すべての現代のAIモデルはこれで今良いです。」
Mythosはその作成者よりもクリエイティブではありません
Stenbergに関する限り、古いAIモデルとMythosのようなセキュリティに焦点を当てたツールの両方に共通の制限があります。それらはそれらをプログラムした人間が見つけることができるほど良いセキュリティ脆弱性を見つけることができるだけです。
「AIツールは、私たちがすでに知っている通常の確立された種類のエラーを見つけます。それはただそれらの新しいインスタンスを見つけるだけです」とStenbergは述べました。「私たちはこれまでのAIが、何らかの新しい種類であるか、完全に新しいものであるような脆弱性を報告するのを見たことがありません。」
Mythosに関しては、Stenbergは依然として印象されておらず、彼のブログ投稿で「確かに驚くほど成功したマーケティングスタント」と呼んでいます。
レジスタにのメールで、Stenbergは、AIモデルが実際に新しい、新しいタイプの脆弱性を発見することが可能であることを認めましたが、彼はまだ彼らが人間が見つけることができるものを超えることができることについて確信していません。彼らはソフトウェア脆弱性がどのように機能するかについての私たちの理解によって制限されています。
結局のところ、Stenbergは説明しました、セキュリティについて話すときは、コードについてのみ話しています。「ソースコードはテキストであり、私たちはおそらくすでに私たちがそれでセキュリティ問題をすることができるほとんどのすべての方法を知っているようです」と彼は彼のメールで思案しました。
言い換えると、閉鎖前のcURLバグ報奨金プログラムに行われたAI支援の価値のあるレポートのように、Mythosなどのシステムを価値のある方法で使用することは人間がクリエイティブになることを要求するでしょう。申し訳ありませんが、批判的思考をボットにするのはありません。
「人間の研究者は、セキュリティ問題を探すときいつもツールを使ってきました」とStenbergは私たちに言いました。「AIを混ぜに追加することは、人間にさらに強力なツール、問題を見つけるより多くの方法を与えます。多くのセキュリティバグが今後、人間がAIをプロンプトする新しい方法と角度を思い付くことで見つかると予想しています。」
Stenbergは実際にMythosを手に入れて、その能力を試すことができることを望んでいると述べていますが、彼は約束されたアクセスが実現することを保持していないようです。
「私はアクセスが約束されており、私が知っているすべてのために私は最終的にそれを得るでしょう」とStenbergは私たちに言いました。「いつになるかは分かりません。」®
