セキュリティ
しかし、Anthropicのずば抜けたモデルが効果的だったのか、それとも優れたモデルミドルウェアが違いを生み出したのかは、依然として不明のままです
Mozillaは4月にFirefoxのセキュリティバグ423件を修正しました。これは3月の76件の5倍以上、昨年の月平均21.5件の約20倍という修復率です。
ブラウザメーカーは以前、Anthropicの話題のMythos Previewモデルが Firefox 150で271個のバグを発見したと述べていました。
現在、3人の技術者がMythos（およびその知名度の低い兄弟モデルOpus 4.6）が実際に何を発見したかについてさらに詳しく説明しています。しかし彼らは、モデル本体よりも重要かもしれないあることを強調しています。それはエージェント的ハーネス、つまりAIとエンドユーザーの間を仲介するミドルウェアです。
Firefox技術部長のBrian Grinstead、FirefoxテックリードのChristian Holler、Firefoxセキュリティチームの責任者Frederik Braunは、述べています。過去数カ月間、AI生成のセキュリティレポートは低品質なものから、かなり良好なものへと進化したと。
彼らはこの変化をより良いモデルと、それらのモデルをハーネスするためのより良い方法の開発に起因していると考えています。シグナルとノイズの比率を高めるようにそれらを操舵することです。
しかし彼らは、セキュリティコミュニティにおけるMythosに対する懐疑論についても認識しているようです。そのため、他者がAIバグ修復の分野に参入するよう促す努力として、選別された成功事例を公開することにしました。
「通常、詳細なバグレポートは修正を公開してセキュリティアドバイザリを発行してから数カ月間は非公開です。主に何らかの理由で最新バージョンのFirefoxへの更新が遅かったユーザーを保護するための予防措置としてです」と彼らは述べています。
「このトピックに対する異常なレベルの関心と、ソフトウェアエコシステム全体で必要とされるアクションの緊急性を考慮して、当社は最近公開した修正を支える報告書の小規模なサンプルを公開することにした計算された判断を下しました。」
投稿には、さまざまな重大度のFirefoxバグ12件がリンクされています。リストには、例えば、20年前のヒープ解放後使用バグ（高い重大度）が含まれており、このバグはWebページがユーザーの操作なしにXSLTProcessor DOM APIを使用してトリガーできます。
彼らは、これらのバグの多くはサンドボックスエスケープであり、ファジング等の手法を使用して見つけることは困難だと指摘しています。AI分析はより広いセキュリティカバレッジを提供するのに役立つと彼らは言っています。また、プロトタイプ汚染攻撃を防ぐために設計された以前のブラウザハードニング作業の検証に役立ったと追加しており、監査ログはAIモデルがこの技術を使用した搾取の失敗した試みを示したと述べています（プロトタイプ汚染）。
AnthropicがProject Glasswing（公開には危険すぎるとされているMythosへの早期アクセスを得るためのプログラム）を発表したことに続いて、セキュリティ専門家は懐疑的な態度を表明しました。
例えば、セキュリティコンサルティング企業flyingpenguinの社長Davi Ottenheimは、4月13日のブログポストで、「Anthropicの噂されるずば抜けた『ステップチェンジ』は、単なる計算誤差以上のものではないようです。これまでの脅威の物語は、すべてマーケティングで実質的な結果がないように見えます。Glasswingコンソーシアムは、貧弱に偽装した規制上の捕獲です。」と書いています。
その後、彼はAnthropicの低位モデルであるSonnet 4.6とHaiku 4.5を、Wirkenというハーネスに接続し、Lyrikという監査スキルを用いてテストを実施しました。その結果、Ottenheimが主張するところでは、2分で8件の発見が約0.75ドルのコストで実現しました。8件のうち2件がMythosが特定したバグと一致していたと指摘しています。
他のセキュリティ専門家たちも、バグハンティングと搾取開発は、Opus 4.6などすぐに使えるモデルで非常に生産的であることを報告しており、その他の利点の中でもMythosより約5倍安いコストです。
The Registerへのメールで、Ottenheimは「Mozillaのポストには根本的な哲学的欠陥があります。読むことと測定することは同じではありません。私は測定を見ていませんが、彼らは測定を見ていると信じるよう求めているようです。
「『舞台裏の数学』を提供してくるとき、それは循環的で、トリックです。『Mythosは271個のバグを発見した』はMythosが発見したものであり、他のツールが同じコードに対して発見できなかったものではありません。それが証明できるのであれば、なぜそれを仮定のままにしておくのですか？」
Ottenheimは、Mozillaが同様のアプローチを採用するようすべてのプロジェクトに提唱していますが、そのアプローチのメリットを証明していないと述べています。
「それはコカ・コーラを飲まなければ6分以内にマイルを走ることはできないというようなものです。なぜなら、コカ・コーラがスポンサーする男がちょうどそうしたばかりだからです」と彼は言いました。「バーは修辞学、マーケティングではなく、適切な証拠では動きません。これは再び捕獲です。」
彼は、MozillaがMythosなしでこの作業を行うことができなかったと報告していたら、Mythosのメリットがより説得力があるかもしれないと指摘しています。そしてそう言っていないので、Mythosと他のモデルの透明な比較がない理由を尋ねる価値があると彼は示唆しています。
彼はMozillaがOpus 4.6が既に「以前に知られていなかった脆弱性の素晴らしい数を特定していた」ことを認めていることを指摘しています。
「MozillaはMythosが何を追加したかを言う前にOpus 4.6が何をしたかを定量化していません」と彼は言いました。「したがって、Mythosに帰属する271は分析に適合しません。そして、『これらのモデルをハーネスする技術を劇的に改善しました』と言うときに、より深い開示があります。改善はハーネスの中にあるかもしれず、モデルの中ではそれほど多くないかもしれません。これは私自身の経験にマップされます。ネイルガンはハンマーより利点がありますが、適切な手にない場合、出力は同じか悪いです。」 ®
ITに手を噛まれる
