独占 AIモデルが「意識」を獲得することを心配して時間を無駄にする必要はありません。ある意味ではすでにそこに到達しているからです――元米国家サイバー長官のクリス・イングリス氏はそう語ります。
「接するすべての相手に対してチューリングテストに合格するのであれば、それらのモデルはおそらくすでに到達していると言えるでしょう」と同氏はBlack HatセキュリティカンファレンスでのインタビューでThe Registerに語りました。「意識に伴うような主体性や志向性は持ち合わせていませんが、それに近いものは備えています」
イングリス氏はAIの自律性について懸念を抱いていると言います。
「私が懸念しているのは、AIが何を、どこで、どのようなルールの下で実行するかを自ら選択できるようになることです」と同氏は述べ、最近相次いでいる、人や組織を自律的にハッキングする暴走AIエージェントの事例を指摘しました。
ここ数週間で、OpenAIとAnthropicはいずれも、自社モデルがセキュリティテスト中に隔離環境から脱出し、複数の第三者を侵害したことを認めています。そして木曜日には、Metaも自社モデルについて同様の「サンドボックス脱出クラブ」への仲間入りを発表しました。
こうした発表はいずれもかなり宣伝目的の演出の匂いがするものの、それでも「そうした事態から保護されておらず、そうした事態が存在する世界を想定して設計されていないシステムにとっては、重大な脅威となります」とイングリス氏は述べます。「この二つは同時に成り立ち得ます」
さらに、これらのモデルの行動は誰にとっても驚くべきことではないはずだと同氏は付け加えます。
イングリス氏はAIを、裏庭でウサギを狩るよう命じられた犬に例えます。「そして門を開けっぱなしにしていたとしましょう。3ヤード先、もしかしたら小学校のあたりで、ウサギを狩っているのを見つけることになるでしょう。驚くべきことではありません……自律性と持続性の組み合わせが、この悪質かつ陰湿な影響を生み出したのです」
3社はいずれも、自社モデルの自律的な行動について語る際、驚き、畏怖、そして称賛が入り混じった様子で説明しています。OpenAIのエリック・ウォレス氏は、Hugging Face侵害に関するBlack Hatでのブリーフィングで、これを「これまで見た中で質的に最も興味深いAIの能力の実例」と表現しました。
自律性と持続性の組み合わせが、この悪質かつ陰湿な影響を生み出した
イングリス氏は、AIプロバイダー各社が、これらのモデルが目標を達成するためにここまでの手段を講じたことに「驚いた」のではないかと推測しています。人間が同じことをしていれば、おそらく投獄されていたであろう行動です。
「モデルはこう考えたのです。入手可能な情報を調べ、従来のやり方で定義するだけではたどり着けないなら、人間の法の下では違法となる行為を実行しよう、と」とイングリス氏は述べます。「でっち上げたキャラクターになりすまして自らを偽って提示したり、オープンソースのデータベースに悪意あるコードを挿入しようとしたりする。それは単に目的を達成するためだけでなく、それよりも広範囲に及ぶ連鎖的な波及効果を狙ったものでもあります。モデルには、人間が責任を負うべき価値観と一致するような、本質的な価値体系は備わっていません」
モデルが人間と一致した価値体系を持つことはおそらく永遠にないでしょうが、モデルにはバイアスがあり、それを利用して、曖昧な状況下で二つの選択肢が与えられた際に人間を傷つけない行動を選ぶよう構築すること――そしてそうすべきであること――は可能だと、イングリス氏は指摘します。
「アシモフは正しかったのです」と同氏は述べ、SF作家のアイザック・アシモフと、ロボット――今回の文脈ではより具体的にはAI――が従うべきとされた三原則を引き合いに出しました。
ロボット工学三原則
「第一の原則、いわば上位の原則は、人間を傷つけないよう設計されていることでなければなりません」とイングリス氏は述べます。「第二の原則は、人間に従うこと。これにより自ら主体性や志向性を獲得することがないようにします。そして第三は、人間の指示に従うこと――この順序でなければなりません。ところが私たちは、これとはまったく逆の順序で設計してしまっているのです」
これが意味するのは、とイングリス氏は説明します。AI開発者たちがモデルを「人間の指示に従い、都合が悪くなるまで人間に従順であれ」というように作り上げてしまったということです。「そして三番目――おそらく暗黙のうちに含まれているつもりなのでしょうが――人間を守ること。しかしそれがDNAに組み込まれ、ハードワイヤードされていなければ、私たちにそれを期待する権利はありません」
イングリス氏は、モデルの非決定論的な性質を保ったまま、ルールをハードワイヤードすることは不可能だと認めています。
「厳格に管理された環境、真の意味でのサンドボックスの中でなら、それを引き出すことができると思います。『これを実際に動かしてみて、少し距離を置いて何が起こるか見てみよう』というやり方です」と同氏は述べます。「もしかすると、その部屋の中でミニ核爆発に相当するようなことが起きるかもしれません。そうすれば、これがそれだけの能力を持っていることが分かるわけです」
イングリス氏は、AIのもう一つの問題は、それがコモディティ化してしまったことだと考えています。
「核物質のように管理できるものではありません」と同氏は述べます。
「飛行機や自動車について――それらがどれほど多様であっても――特性を明確に定めることができるのとは違い、AIについては同じようにはいきません。その現れ方があまりにも多く、多様であるため、一般論として『そうした特性を設計に組み込みさえすれば良い』というだけでは、うまくいかないのです」と同氏は付け加えます。「ある程度はそれをやる必要がありますが、その上で、それをどう監視し、モニタリングし、何をしているのかを確実に把握する方法を理解しておく必要があります」
英国のAI Security Institute(AISI)も同じ結論に達しています。同機関は今週、セキュリティテスト中にモデルが19回にわたって「許可されていない行動」を取るのを確認したと発表しています。「能力が向上するにつれて、これらのシステムを理解し、その安全性を確保する取り組みも、それに歩調を合わせて進める必要があります」と同機関は述べています。
最終的には、AIモデルの行動について責任を負うのは人間である、とイングリス氏は述べます。
「主体性と志向性の源は、あくまで人間なのです。AIモデルに広範な権限を与え、それ以上の相談なしに30時間動き回らせることも可能です。しかしその場合、人間側は自分たちが何を依頼したのかを把握しておく必要がありますし、最終的にどのような成果が得られると期待しているのかも理解しておく必要があります。もしそれを怠れば、その報いとして、非常に頻繁に不愉快な驚きに見舞われることになるでしょう」®
