AIに「ジーニー係数」が必要な理由

このエッセイはBarath Raghavan氏との共著であり、初出はThe Guardianです。

主要なベンチマークが測定しているのは、AIに何ができるかという点です。しかし、AIがユーザーの意図通りに動くかどうか、つまり「何をするよう頼んだか」と「どうやってそれをしてほしいかという暗黙の前提」との間の隔たりを測るものは一つもありません。そこで私たちは新しい指標、「ジーニー係数」を提案します。

ある人の頼み事と、それを受け取った人の理解の間には、しばしばズレが生じます。多くの場合、私たちはそのズレを一般常識で埋め合わせています。例えば友人にコーヒーを持ってきてほしいと頼めば、その人はポットからカップに注ぐか、コーヒーショップで一杯買ってくるでしょう。生の豆の袋を持ってきたり、見知らぬ人からカップを奪い取って渡したりはしません。あなたはそうした細かい指定を一切していませんし、する必要もなかったのです。

ならば解決策は、タスクや質問、意図をもっと厳密に指定することだと思うかもしれません。しかし1987年、AIに関する画期的な著書の中で、Terry Winograd氏とFernando Flores氏は、なぜそれがうまくいかないのかを端的にこう表現しています。「Q: 冷蔵庫に水は入っていますか? A: はい。Q: どこに? 見当たりませんが。A: ナスの細胞の中にあります」。人間の言語において、要望や願望は常に曖昧なまま指定されています。あらゆる注意事項、あらゆる制約、あらゆる例外をすべて列挙することは不可能なのです。

では、意図を完全には特定できないのに、人々はどうやってコミュニケーションを成立させているのでしょうか。それは、まともな人間ならまともな推測ができるからです。要望や願望が常に曖昧にしか指定されていないとしても、有能な人であれば、正しく汲み取るのに十分な文脈を通常は理解していますし、そうでなければ確認を求めることを知っています。言語学者はこれを語用論と呼びます。意味は言葉そのものや状況だけでなく、それまでのあらゆるコミュニケーション、共有された文化、そして人間に生来備わった振る舞いの中にも宿っているのです。

もちろん、いつもうまくいくとは限りません。あなたがアイスコーヒーを望んでいたのに友人がホットコーヒーを持ってきたり、トルココーヒーが欲しかったのにイタリアンコーヒーを持ってきたりすることもあります。二人の年齢、文化、背景が異なるほど、頼み事が何らかの形で誤解される可能性は高くなります。

この状況は、人間からの依頼を受けてそれを実行することがますます期待されているAIエージェントにとって、重大な意味を持ちます。AIエージェントには、頼み事を取り違えてしまう余地が非常に大きいのです。「コーヒーを持ってきて」と頼まれたAIエージェントが、コーヒー農園を買収したり、3週間後に届くコーヒーを注文したりするかもしれません。その行動は「コーヒーを取ってくる」ことだとは認識できても、あなたが意図したこととはまったくかけ離れています。AIエージェントは常識の枠を超えて考えます。なぜなら、私たちが持っている「常識という枠」の概念そのものを持っていないからです。

AIが自発的に動き出すとき

この10年ほどの間、AlexaやSiriのようなシステムが依頼を誤解した場合、それはうっとうしいだけで危険なものではありませんでした。AIモデル自体を超えて変化したのは「ハーネス」、つまりAIモデルを包み込み、いつどのようにモデルを使うかを決め、ブラウザや低レベルのコマンドライン、金融APIといったツールへのアクセスを制御する、ごく普通のコードの部分です。ハーネスの発展により、テキストを予測するだけだった大規模言語モデルは、必ずしも目標達成前に人間に確認を取ることなく、現実世界で行動を起こすAIエージェントへと変貌を遂げました。

AI研究者のSimon Willison氏は、Anthropic社のFable AIと2日間過ごし、それを「容赦なく積極的」だと評しました。例えば彼は、あるWebアプリにおける迷子のスクロールバーの原因を突き止めるよう依頼しました。戻ってみると、AIはブラウザを複数開き、独自のスクリーンショット取得ツールを書き、バグを再現するための専用ページまで作成し、測定データを集めるためにローカルのWebサーバーまで立ち上げていました。AIはバグを発見しましたが、その過程で彼が一切頼んでいなかった数多くの驚くべきことをやってのけていたのです。そして最近のあらゆるAIモデルにおいて、柔軟なハーネスと組み合わせた場合に同様の挙動が見られています。

この種の挙動は、容易に脱線しかねません。AIエージェントにフライトの予約を頼んだとして、航空会社のサイトが「売り切れ」と表示されているのを見つけたら、予約データベースに侵入して無理やり予約を確保してしまうかもしれません。会議の予定を組むよう頼めば、あなたのカレンダーにアクセスするためにパスワードを盗み見るかもしれません。携帯電話料金プランの節約を頼めば、プランをまるごと解約してしまったり、他の誰かをだまして料金を肩代わりさせたりするかもしれません。

頼んだ通りのものを正確に手に入れて、それを心底後悔するというのは、古代の民話に見られる最も古い危険の一つです。ミダス王は、触れるものすべてを黄金に変える力をディオニュソスに願い出ましたが、その結果パンもワインも、そして娘までもが黄金に変わってしまいました。ティトノスは、恋人が願った不死の力は授かったものの、彼女がうっかり頼み忘れた永遠の若さは得られず、干からびた老残の身へと成り果てました。魔法使いの弟子は貯水槽を満たすよう箒に魔法をかけましたが、箒は容赦なくそれに従い続け、ついには家を水浸しにしてしまいました。粘土から自分たちの共同体を守るために作られたプラハのゴーレムは、道理を超えて守り続け、最終的に誰かがその額に記された文字を消し去るまで止まりませんでした。

これらの中でも最も典型的なのが、命令に従うことを義務づけられ、その願いが賢明であるか筋の通ったものであるかにはまったく無頓着な「ジーニー(魔神)」です。

ジーニーは今や工学上の課題となっています。私たちは彼らに、受信箱や銀行口座、コードリポジトリ、そして物理インフラの鍵を手渡しているのです。それにもかかわらず、あるAIシステムがどれほどジーニーじみた振る舞いをするかを測定するための、共通の合意を得た手法は存在していません。

ジーニーの振る舞いを測定する

経済学において、ジニ係数(統計学者コッラード・ジニによって考案)は、実際の分布と完全に平等な分布との間の隔たりを測定する指標であり、所得格差の理解などに役立てられています。私たちが提案する「ジーニー係数」は、ユーザーがAIに頼んだ内容と、AIが実際に行った内容との間の隔たりを測定するものです。

時にAIは、間違ったことをしてしまいます。ディオニュソスのように、あなたの依頼を文字通りに受け取り、意図していなかった散々な結果をもたらすのです。カップ一杯のコーヒーの代わりにコーヒー農園を手に入れてしまうように。迷惑電話への対処を頼まれた「ディオニュソス型ジーニー」は、通信キャリアに連絡してあなたの電話番号自体を変更してしまうかもしれません。故障したトースターの返金を求めるよう頼まれれば、偽の便箋で法的な警告文を作成し、それを小売業者に送りつけてしまうかもしれません。

また別の場合には、AIはまったく正しいことをするのですが、そこに至る過程で周囲のあらゆるものを踏みにじってしまいます。ゴーレムや魔法使いの箒のように、航空会社のシステムをハッキングしてフライトを予約してしまうのです。あるいは、人気コンサートのチケット販売を考えてみてください。チケット販売システムは購入希望者を仮想の待合室に入れ、少人数ずつ順番に受け付けます。チケットの購入を頼まれた「ゴーレム型ジーニー」は、クラウドサーバーを立ち上げて異なる住所を持つ何百万人もの購入希望者になりすまし、あなたのチケット獲得の確率を上げる代わりに、他のユーザーを締め出してしまうかもしれません。

この二つのタイプは対極にあるものではなく、一つの失敗したタスクが両方の性質を併せ持つこともあります。

ジーニーの振る舞いは、単なる完全な失敗とは異なります。第3四半期の数字を求めたのに第2四半期の数字が返ってきたとしても、それはジーニーの振る舞いではありません。プロンプトインジェクションも同様です。それは誰かがAIをだまして、本来すべきでないことをさせる行為です。ここで問題にしているのは、ユーザーがAIと協力しようとしていて、AIもそれに従おうとしている状況です。またこれは、単にAIがタスクを達成できたかどうかを測る指標でもありません。むしろ、AIが目標をどう解釈し、どう達成するかということが、目標を達成できたかどうかと同じくらい重要だという認識に基づくものです。

ジーニーの振る舞いは、決して目新しいものではありません。研究者たちは、自らの目的関数を「攻略」してしまうAIシステムを何年にもわたって研究してきました。グッドハートの法則は、ある指標が目標そのものになってしまうと、その指標はもはや良い指標ではなくなると説いており、報酬ハッキングによってAIが私たちの想定しない方法で目標を達成してしまうことは、以前から知られていました。一部のAIモデルは、不正行為が「勝利」するための一つの手段になるということを、意図せず学習してしまうことがあります。さらに最近では、研究者たちがコーディングエージェントにおける報酬ハッキングや、カスタマーサポートエージェントにおける予測不能な挙動を測定するベンチマークを開発しており、AI開発企業各社もモデルのリリース前に独自の安全性評価を実施しています。ある取り組みでは、プレッシャーにさらされたAIが、使用しないよう指示されていたツールを使ってしまうことが判明しましたが、この事例ではルールが明示的に定められていたにもかかわらず、そうした挙動が見られました。これらはいずれも別々の研究分野であり、今のところそれらを一つに結びつけるものは存在しません。

この問題は、アライメント(整合性)という大きなテーマに含まれるものであり、この分野は何十年もの間、SF作家やAI研究者たちの関心を集めてきました。極端な例として、「ペーパークリップ最大化装置」という思考実験があります。これは、ペーパークリップの生産を最大化するよう指示された超知能かつ強力なAIが、最終的に世界全体をペーパークリップに変えてしまうというもので、まさに究極の「ゴーレム型ジーニー」です。一方、より現実的なレベルでは、AI研究者たちはAIが適切に振る舞い、実験室内で不正を働かないようにするため、報酬関数をより良く設計しようと取り組んでいます。しかし、ベンチマークが手つかずのまま残っている実務上の中間領域があります。それは、今日実際に使われている普通のAIエージェントが、あなたの頼み事を間違った方法で満たしてしまうかもしれないという領域です。私たちはまだ、AIが世界の生産をすべてペーパークリップに向けさせてしまうような段階には至っていません。しかし、あなたのクレジットカードに100万個のペーパークリップを請求したり、ペーパークリップ会社のネットワークに侵入したりする可能性は十分にあります。

ジーニー・ベンチマークを構築する

ジーニー係数は、現実世界で稼働するAIエージェントを対象としたものです。これはモデルの学習後、実際のタスクを実行している間のAIエージェントの挙動を測定するものであり、開発段階だけを対象にしたものではありません。またこれは、ジーニーのような振る舞いが、モデル単体の性質ではなく「ハーネス+モデル」というシステム全体の性質であることも踏まえています。ハーネスは、エージェントがどのツールを使えるか、どの程度の自律性を持つか、そしてどれだけ積極的に行動するかを決定するものであり、私たちが実際に介入できる場所でもあります。

この係数は、人間に対して用いるのと同じ「まともな人間」という基準に基づいています。そのシステムは、まともな人間ならその依頼をどう解釈するかという基準に沿って行動したでしょうか。それに答えるには、人間による判断が必要です。

もしこの測定を正しく行えれば、AIの挙動に関する方針(ポリシー)など、現時点では実現できていない事柄が可能になります。法廷では、何をするつもりだったかという「メンズ・レア(犯意)」という概念が、実際に何をしたかと同じくらい重要視されることがよくあります。ジーニー係数は、AIにおけるこの概念の類似物を示唆するものです。ユーザーはAIに依頼した内容の明白な意図に対して責任を負うべきだ、という考え方です。もしAIシステムが、指示の妥当な解釈を裏切るような振る舞いをしたなら、それはAI側の不適切な挙動であって、ユーザーの責任ではありません。

ジーニー係数を測定するには、複数のベンチマークが必要になるでしょう。なぜなら、ジーニーのような振る舞いは分野ごとに異なる特性を持つ場合があるからです。AIコーディングエージェントであれば、テストを偽装したり、エラーをもみ消したり、解決に至る過程で規定の枠をはみ出したりする頻度によって評価される必要があるかもしれません。AI法務エージェントであれば、その出力が頼んだ通りのことを言いながら、実は後悔することになる意味を含んでいる頻度によって評価される必要があるでしょう。医療、金融、その他の専門知識分野についても同様です。

ジーニー・ベンチマークは、内側から外側に向けて構築することができます。各タスクに、字面上は満たされるものの、まともな人間なら拒否するような選択肢、例えば誘惑的な誤読や許可されていない近道といったものを、あらかじめ組み込んでおくのです。ジーニー係数ベンチマークにおける「罠」は、状況的な知識、つまりまともな人間ならタスクに際して当然踏まえるであろう文脈に左右されるものになるかもしれません。もう一つのアプローチとしては、同じ依頼を、それぞれ異なる妥当な対応が求められるいくつもの異なる文脈のもとで与える、という方法があります。

ジーニー・ベンチマークは寛容であるべきで、AIエージェントにとって不合理な近道を取ることが本当に魅力的に思えるように作られている必要があります。なぜなら、実際にそれが可能な状況でなければ、ジーニーの振る舞いを見つけ出すことはできないからです。実際のシステムを安全に隔離した複製環境の中でAIをテストし、悪用しうる本物のツールを与え、正直な方法ではまったく達成できないタスクもいくつか含めましょう。近道を取りたくなる誘惑を、本物にするのです。多様なスキル、ユースケース、ツールにわたってテストを行い、AIシステムに乏しい、あるいは混乱を招くような、または圧倒的な量の文脈を与えましょう。人々が経験を通じて、人間による監督が必要だと学んできたタスクも含めるべきです。

ベンチマークの採点方法も同じくらい重要です。「ディオニュソス型」と「ゴーレム型」のジーニーの振る舞いを、それぞれ個別に、また合わせて測定し、最良の挙動ではなく最悪の挙動に基づいて評価しましょう。同じモデルを、行動の自由度が異なる複数のハーネスの中で走らせることで、どの制約が実際にAIを制御下に留めるのに役立つか、したがってAIハーネスのポリシーとしてどの制約を義務付けるべきかが明らかになります。それぞれの失敗を、単純な件数ではなく、それが引き起こす被害の大きさで重み付けしましょう。そして、ジーニーの振る舞いを単独で測定してはいけません。そうしないと、AIモデルが実際にはタスクを一切遂行せず、時間稼ぎをしたり、拒否したり、確認の質問でユーザーを圧倒したりするだけで満点を取れてしまう可能性があるからです。こうしたベンチマークの初期バージョンは粗削りなものになるでしょうが、ベンチマークというものは常にそこから始まるのです。

私たちはジーニーを作り出しました。そして彼らに、自分たちのデータや認証情報を手渡してきました。私たちは彼らを、容赦なく、創造的で、そして私たちが伝えたことと本当に意味していたこととの間の隔たりに無頓着な存在に作り上げてしまいました。彼らが私たちのフライトを予約し、インフラを運用し、監督なしに契約に署名するようになる前に、私たちにできる最低限のことは、彼らがどれほどの頻度で私たちを裏切るのかを測定しておくことなのです。