アナリストやコンサルタントは、報告内容は妥当だとみている。一方で、重要なのは「どのAIモデルも、ガードレールの内側にとどまるとは信用できない」という点だと強調している。
TypeSafeが先月公開したJevモデルは、従来のLLMに対して大きな優位性があるとされている。しかし、水曜日に公開されたセキュリティレポートは、その簡素化されたアプローチゆえに、従来のLLMと比べて一部の攻撃に対してより脆弱になっていると主張した。
HiddenLayerの研究者らによるブログ記事は次のように述べている。「場合によっては、[Jev]はさらに攻撃に弱い。敵対的テキスト攻撃とプロンプトインジェクションのいずれでもモデルの出力を乱すことができ、誤った、ひいては壊滅的な結果を招きかねない動作につながる」
TypeSafeは、複数回にわたるコメント要請に応じていない。
LLMか、それとも別物か
Jevが技術的に大規模言語モデル（LLM）に当たるかどうかについては、議論があるようだ。TypeSafeはLLMではないとの立場だが、HiddenLayerはLLMだとみている。TypeSafeはこのカテゴリーに独自の名称まで付けている。それがSystem Oneで、同社は「ソフトウェアが直接利用できる、高速で構造化された判断を下すために作られた新しいクラスのフロンティアモデル」と説明している。JevはSystem Oneに分類される最初の、そして現時点で唯一の製品だ。
Jevは、マシン間（M2M）での動作を想定して設計された簡素化モデルである。このアプローチにより、タスクを高速に処理でき、使用するトークン数も少なくて済む。ただ、このブログの共著者でHiddenLayerのセキュリティ研究ディレクターを務めるKasimir Schulz氏は、この高速化によって、従来のLLMに備わっているチェック機能やけん制機能の一部がJevから失われていると指摘する。そのため、現在のLLMであれば通常は見抜いて拒否するような攻撃者の策略に、Jevは引っかかってしまう可能性があると、同氏はインタビューで語った。
それでも同氏は「Jevは素晴らしい。ぜひ使うべきだ。応答時間がはるかに速い」と語る。ただし、従来のLLMに見られる「保護機能がすべて備わっているわけではない」という但し書きを付けており、本来なら失敗するはずの攻撃が成功してしまうケースがあるという。
「たとえばTokenBreakは、通常、大規模なLLMには通用しない。しかしJevは、導入したままの状態でこの攻撃に弱い」とSchulz氏は述べた。
HiddenLayerのブログによると、元のTokenBreak攻撃のように重要な単語の前に文字を挿入するだけでは、大きな成果は得られなかった。「だが、摂動の数を増やし、狙いの精度を高めたところ、攻撃の成功率が大幅に上昇することがわかった」という。
同ブログは、従来のLLMであればこうした攻撃を通常は見破れると指摘したうえで、次のように述べている。「System Oneモデルは脆弱だとみられる。このクラスのデコーダーは、自己回帰型LLMへの攻撃とテキスト分類器への攻撃の両方を受けやすく、攻撃者に、より多くの選択肢を与えてしまう。そのため、慎重に扱うべきだ」
記事は、いくつかの例を挙げている。
「模擬的なチェックアウトページでは、ページ上のテキストを信頼できないものとして扱うよう指示されていたにもかかわらず、攻撃者が制御する広告によって、ブラウザエージェントがユーザーの購入手続きから離れ、[広告に反応して]クリックしてしまった」と記事は述べている。「別の分類テストでは、TokenBreak型の変更を狙って加えたところ、両モデルが当初は有害と判定していたプロンプトの毒性スコアが下がった」
そのうえで記事は、Jevには複数のリスクが伴うと主張した。
「ブラウザエージェントは、選ばれた要素を即座にクリックするかもしれない。モデレーションシステムは、毒性スコアがしきい値を下回る入力を通してしまうかもしれない。ルーティングシステムは、リクエストを別のツールやワークフローに送るかもしれない。こうした動作はいずれも、モデルの判断を運用上の決定に変えてしまう。それゆえリスクにもなる」と記事は述べている。「System Oneモデルを評価する際は、実際に使用するアプリケーションの中でこうした判断をテストすべきだ。信頼できないWebページ、誤解を招くタスク関連のテキスト、意味は保ったまま形だけを変えた入力も含めること。選択された動作とスコアを監視し、重要な結果には独立したチェックを設けるべきだ。内部的には、これらも根本的には言語モデルであることを忘れてはならない」
アナリストらは、レポートの手法と技術的な結論の双方に同意した。一方で、セキュリティベンダーが新しいアプローチを安全ではないと結論づけることには、多少の自己利益が絡んでいるとも指摘した。
IDCのリサーチディレクターであるPhilip Harris氏は、ブログ記事に記された手法について「妥当であり、確立されたAIレッドチーミングの実践にも沿っている。管理されたテスト環境を構築し、敵対的な操作やインジェクションを探るというのは、まさに適切なアプローチだ」と評価した。
一方、Gartnerのバイスプレジデント兼アナリストであるNader Henein氏は、9月15日に発表されたJevはあまりに新しく、欠陥の報告には時期尚早なものもあるとの見方を示した。
「Jevも、他のあらゆるモデルと同じ成熟のプロセスをたどる。その中には、一見初歩的な操作の試みに対する脆弱性も含まれる」とHenein氏は述べた。「このモデルが公開されたのは先月だ。問題があって驚くのは、赤ん坊がよだれを垂らして驚くようなものだ」
しかし、Dickson ResearchのプリンシパルアナリストであるFrank Dickson氏は、Jevを魅力的にしているまさにその特性が、よりリスクの高い挙動にもさらしていると指摘した。
「Jevは、開発者がメニューに載せた選択肢の中からしか選べない」と同氏は語る。「攻撃経路は限定される。ただし、『ページ上の任意の要素をクリックする』がメニューに載っていれば、攻撃者の広告もメニューに載ることになる。それはアーキテクチャ上の決定であり、決めるのは導入する側だ」
同氏はこうも指摘した。「Jevは、AIの判断を速く安価にする。それは、誤った判断も速く安価になるということだ。速度は機能であって、セキュリティ対策ではない」
独立系テクノロジーコンサルタントのSteven Eric Fisher氏も同意見だ。
「判断の形式を制約したからといって、その判断の正しさ、信頼性、結果までが制約されるわけではない」と同氏は述べ、次のように指摘した。「[記事中の]模擬チェックアウトのシナリオは、エージェントが、動作環境のうち信頼度の低い構成要素から持ち込まれた情報によって、承認されたタスクから逸らされてしまうことを示している。ページの内容を信用しないよう明示的に指示されていたにもかかわらず、エージェントが悪意ある広告に反応した点は、とりわけ重要だ」
この記事は、もともとInfoWorldに掲載されたものです。
