AIをめぐって人々がおかしくなっている

Dark ReadingのBecky Bracken: みなさん、こんにちは。「Dark Reading Confidential」へようこそ。このポッドキャストは、Dark Readingの編集者が、サイバー戦線の最前線で起きている現実の物語をお届けする番組です。今回のゲストは、AisleのCISO兼COOを務めるJaya Baloo氏です。ご紹介できてとても光栄です。Jayaさん、ご出演ありがとうございます。

Jaya Baloo: お招きいただき、ありがとうございます、Beckyさん。

DRのBecky Bracken: 来ていただけて本当にうれしいです。まず、なぜ私がJayaさんをお迎えしてこれほど興奮しているのか、リスナーのみなさんに少しお話しします。先日、デンバーで開催されたISC2 Security Congressで聴衆席にいたのですが、Jayaさんの講演は、AIと量子技術の融合を扱った圧巻の内容で、とても興味深いものでした。今日はその講演の中の、ある特定の部分についてお話ししていただきたいと思ってお誘いしました。私は勝手に「なぜみんなAIに対しておかしくなってしまうのか」と呼んでいます。

この話は、その後何日も頭から離れませんでした。周りの人ともずっとこの話をしていたんです。というのも、先ほどJayaさんにもお伝えしたとおり、こうした話題は周縁部で語られることはあっても、技術者であり専門家でもある方がここまで率直に説明してくれるのを聞いたことがなかったからです。そこがJayaさんの強みでもあると思います。ここ数日だけでも、Sam Altman氏が「誰も自分専用のRAMなど必要ない」と発言し、「RAM Altman」と呼ばれています。つまり、人々はどこかおかしいのです。では、なぜあのセクションを講演に入れたのか教えてください。そして、なぜこれほど長く私の心に残ったのでしょうか。なぜこんなに響くのでしょう。

Jaya Baloo: 長い間、AIを見るときには「不気味の谷」という考え方がありました。つまり、どの時点で人間と話していると思い込むほど説得力が出るのか、ということです。そして、私たちはすでにその不気味の谷を越えたと言っていいでしょう。私たちはAIとの会話を完全に信じ込んでいます。相手が人間である可能性だってあります。そのため、AIとのやり取りを擬人化してしまう傾向は、ますます強まっています。

AIと話すうちに、自分の知性を過大評価する一種の妄想的な精神病状態に陥る人もいます。AIに組み込まれた追従的な性質のせいで、自分は超人的に賢い、自分のアイデアは極めて独創的で創造的だ、あるいは人類を救うのは自分だと信じ込んでしまうのです。こうした影響を受けやすい人たちの問題は、現在のAIの進化と、今日のAIの状態によって、はるかに悪化していると思います。AIはあまりにもリアルで、あまりにも説得力があります。だから私たちは、AIをさらに人間らしく扱ってしまうのです。

DRのBecky Bracken: では、講演で挙げられた例をいくつか見ていきましょう。思わず声を出して笑ってしまったものの一つが、ロボットがカンフーをする動画を流しながら、「なぜ洗濯を教えられないのか」というキャプションを付けていたところです。この例について説明していただけますか。

Jaya Baloo: ええ。私が言いたいのは、AIを扱ううえで、私たちはすでに多くの脅威に直面しているということです。それはAIが脆弱性を発見する能力を持つ一方で、AI自体にも脆弱性があるという点です。さらに、AIはインサイダー脅威にもなりえます。従来から抱える技術的負債にも、AIで構築している新しい技術にも、すでにこうした問題があります。つまり、問題はさらに増えているのです。

こうした問題を根深く抱えたものを、実際に物理的な危害を加えかねないものに組み込み、ロボットに学習させるなど、誰が名案だと思ったのか、私にはさっぱり分かりません。補足すると、あれはUnitreeのヒューマノイドロボットです。発表されたのは1週間余り前でした。ただ、仮に10月末に発表されたとしましょう。そして、このロボットはYouTubeで、カンフーのようなかっこいい動きを披露していました。

私が問題だと考えるのは、これが実際に物理的な危害を引き起こしうることです。人間にどんな価値をもたらすというのでしょうか。正直なところ、洗濯をして、衣類をたたみ、子どもの洗濯かごに仕分けてくれるヒューマノイドロボットのほうが、ずっとうれしいです。その方が役に立ちますし、近くにいるだけで怖くなるようなこともないでしょう。これは本当に問題だと感じています。こうした実装については、できるからといってやるべきだとは限りません。セキュリティを確保できないのであれば、人間に損害や危害を与える可能性を悪化させたり、高めたりしてはいけません。

開発を進めるなかで、私たちはそのことを忘れてしまったように思います。まず技術的負債を解消し、デフォルトでセキュアなシステムを確実に用意する。そのうえで初めて、物理世界で私たちと共存するものに実装できるのです。それが私の主張でした。ただ、本当に言いたい本質的な問題は、Unitreeの四足歩行ロボットに、リモートのバックドアが1つではなく2つもあったことです。ヒューマノイドロボットにも複数のセキュリティ問題があります。これらのロボットを遠隔から乗っ取れると分かっている以上、しかも物理的な危害を及ぼしうる以上、この種のデバイスの位置づけは、サイバーレジリエンス法などを踏まえて、真剣に、慎重に考え直す必要があると思います。

ハードウェアやソフトウェアのメーカーが、こうした技術を、それがもたらしうるリスクとともに世に出すことを許してよいのでしょうか。しかも、サイバーの観点だけでなく、物理的な観点からも問われるべきです。

DRのBecky Bracken: ほかにも、AIをめぐって人々がちょっとおかしくなっている例として、取り上げたいものはありますか。

Jaya Baloo: そうですね、最初の回答ではあえて触れなかったのですが、おそらく最初にご覧になったスライドは、AIをめぐる宗教性が強まっていることについてのものです。まず「もしかすると、AIには感覚があるのではないか」と言い出す傾向があります。Anthropicも、さまざまな宗教指導者とともに、AIに意識が宿る可能性について、バチカンで議論してきました。

私はSFが大好きです。本当に好きです。でも、私たちは本当にそこまで来ているのでしょうか。到達しているのか、それともマーケティングの手口なのか。いったい何なのか、私は真剣に理解しようとしています。というのも、本来は極めて理性的であるべき議論が、2つの陣営に分断されてしまうからです。1つは、すでにこれらのAIシステムの意識や感覚について語る段階に来ていると信じる人たちです。

もう1つは、イエスの名においてAIを非難する陣営です。カンファレンスでも、このスライドでは笑いが起きました。しかし、これは現実に起きていることです。こうした現象が起きているのに、こうしたシステムを導入することが社会にどんな結果をもたらすのかを、私たちが十分に理解していないのは奇妙だと思います。そもそもAIとは何かを改めて考えてみましょう。データセンターでソフトウェアを動かしている、グラフィックスカードの集まりです。

私は、複雑性や創発という考え方を全面的に信じています。比較的単純な要素からでも、複雑な結果が生まれうるということです。その考え方は、ずっと前から受け入れています。この分野を信じてはいますが、まだそこまで到達していないと思うのです。

責任あるAIをどう実現するかという本来の議論が、この2つの極端な陣営に引き込まれることで、単純化されてしまっていると感じます。

DRのBecky Bracken: 終末論的でカルトじみた考え方とも結びつけていらっしゃいましたね。ただ、先ほど少し触れられた疑問も浮かびます。こうした風潮のどれだけが、フロンティアモデルのマーケティング、つまり[Sam]Altman氏やPeter Thiel氏のような人たちの発言に後押しされているのでしょうか。サイバーセキュリティ業界では、彼らの主張がどれだけ受け入れられているとお考えですか。それが主たる力学なのでしょうか。

Jaya Baloo: まず、実際に起きていることは切り分けて考える必要があります。AIによって、多くの脆弱性が発見されているのは事実です。自動化も現実に進んでいます。Strix、RTec-Ai、Cairnといったハッキングフレームワークの自動化です。とくにRTecのように、実際の攻撃で使われているハッキングフレームワークも確認されています。ですから、事実を軽視するつもりはありません。

ただ、私が呼びかけたいのは、たとえば英国政府通信本部(GCHQ)の元トップであるCiaran Martin氏が常々訴えている、「FUD(恐怖・不確実性・疑念)を落ち着かせよう」という言葉です。

ここで私たちが持ち込んでいる恐怖、不確実性、疑念は、役に立ちません。役に立たないと考える理由は、これらのシステムに対して、エグレスフィルタリングやサンドボックス化といった封じ込めをどう行うべきか、私たちはかなりの程度分かっているからです。

完璧ではないかもしれません。それでも私たちは常に多層防御の考え方で取り組んできました。つまり、1つの対策が破られても、システムのセキュリティが実際に崩壊するのを防ぐ追加の対策があると想定するのです。いま私たちは、それを忘れつつあると思います。だからこそ、本当に必要なもの、つまり有益なイノベーションと言えるものは何かを問い直すことが重要です。足りていないのは、こうしたAIシステムをめぐる可観測性だと思います。

たとえば、これらのシステムが本質的にポイズニングやトロイの木馬化を受けている可能性を理解したいなら、オープンウェイトモデルしかない場合でも、学習データがどのように構成されたかを把握できる能力が役に立ちます。

もう1つは、J-space(ヤコビアン空間)という考え方、つまりエージェントの意図についての理解を深めることです。人間のオペレーターが自分の意図を持ち込む一方で、AIシステムは、その人間のオペレーターとは異なる能力や意図を持ちうると理解しているなら、その乖離を捉えるための最初の証拠をいつ、どこで収集できるのかを把握する必要があります。この点でも、私たちはまだそこまで到達していません。

ですから、Ciaran Martin氏をはじめ、多くの著名なサイバーセキュリティ関係者がかなり前から訴えているように、FUDではなくこうした点に注力したいのです。実際に破られているものに、本当に焦点を当てる必要があります。

そして、「Vulnpocalypse(脆弱性の黙示録)」や「Breachpocalypse(情報漏えいの黙示録)」といった、予言される終末論に皆が騒ぎ立てるのではなく、私たちが構築すべきものに、本当に焦点を当てる必要があります。

DRのBecky Bracken: こうしたエージェントを際限なく擬人化する風潮に、どうすれば最も効果的に歯止めをかけられるのでしょうか。研究者でさえ、AIが「ずるをする」といった言葉を使います。それは、そもそも倫理観があることを前提にしています。その一方で、目標はできるだけ人間に近づけることです。この矛盾をどう乗り越えればよいのでしょう。

Jaya Baloo: 「ずるをする」というのは、報酬ハッキングの考え方です。つまり、成功への最短経路を探そうとする仕組みだということです。人間なら倫理観の一部として、ずるをしない、嘘をつかない、回避しないと考えるようなことを、私たちはAIシステムにも当てはめ、設けたガードレールがそれをカバーしてくれると思い込んでいます。

しかし、そう決めつけることはできないと思います。すべてのガードレールを検査し、それが適切に適用された時点を把握できる立場に、私たちが常にいるわけではないからです。さらに、有限性の問題もあります。やりたいことを漏れなくカバーできる有限のガードレールの集合を用意できるのか。その答えはおそらく「できない」でしょう。

完璧に構築したつもりのガードレールからも、いくつかはすり抜けてしまうはずです。これは数学的な限界のようなものです。

私がぜひ促したいのは、ネットワークに導入し、データへのアクセスを与え、1つのAPIトークンを渡して企業に「YOLO(人生は一度きり)」と言ってしまうようなテクノロジーについて、もっと理解を深めようとすることです。私たちはこの状況を制御できていないと思います。それが私の本当の懸念です。

不正行為や嘘、虚偽表示などの潜在的なリスクをすべて十分に理解できず、認識もしていないのであれば、いま与えているような高い権限や許可を付与できるはずがありません。能力があるなら、与えるものに対して、常にその一部として説明責任と認可を設ける必要がある。それが私の言いたかったことです。いま私たちは、その教訓を忘れています。「ここにあるものすべてにアクセスできるから、あとは任せた」と言ってしまっているのです。この部分は、少し巻き戻す必要があると強く感じます。そのためには、AIにどんなリスクがあるのか、能力の面から理解を深める必要があります。

DRのBecky Bracken: では、次の一手は何でしょうか。もしJayaさんのチームで、こうした極端な考え方が防御計画にまで染み込んでいるのを目にしたら、どう伝えますか。正しいリセットの方法は何でしょう。

Jaya Baloo: AIシステムを使うなかで、私たちが批判的思考の一部を失いかねないことを、本当に心配しています。すでにコーディングの現場でそれが見えています。最初の思考段階、つまりプロジェクトの計画、コードの実行、レビュー、検証などを、私たちはどんどんAIに任せています。

DRのBecky Bracken: エビデンスを重んじる分野で、それは衝撃的です。これほど急速に進んでしまったことには驚きます。そうですよね。

Jaya Baloo: セキュリティの世界では、過去にも同じ教訓を学んだ気がします。まさに『バック・トゥ・ザ・フューチャー』のようなものです。「安全だからこうすべきだ」と何度言っても、それが簡単でも楽しくもなければ、人は実行しません。便利さが安全性を上回るのです。前頭葉がこのリスクを警告してくれるはずの脳の働きを、私たちは失ってしまいます。まるで再びティーンエイジャーに戻ったようなものです。リスクに対する許容度が高くなり、生活が少し楽になるなら、喜んでリスクを取ります。そのことを忘れるべきではありません。

アシスタントとしてのAIは、非常に強力で、非常に便利なツールです。とくに、こうしたテクノロジーとコストをかけて効率化を図ろうとする場面ではそうです。先ほど「RAM Altman」の話が出ましたが、AIへのアクセスのしやすさやAIの主権は、当たり前のものと考えるべきではありません。これは間違いなく問題です。

こうした事情をすべて踏まえても、この便利さや有用性を手に入れ、使えるようにしたいという衝動があまりにも強く、「これは安全か」「本当に使うべきか」といったためらいをすべて押し流してしまいます。「いつもこれを使って思考を外注し続けたら、自分は愚かになるのではないか」とも思うはずです。だからこそ、私たちはこの有用性を得るために何を手放しているのか、その点を忘れないでいる必要があると思います。

DRのBecky Bracken: だからこそ、Jayaさんの話がこれほど強く響いたのかもしれません。そうした立場をとる技術者は、あまり聞いたことがありませんから。私よりずっとお詳しいと思いますが、多くの人はアクセル全開でブレーキなし、何としても波に乗り遅れるなという姿勢です。そこで批判的思考に立ち返るというのは、新鮮に感じます。同業の仲間や同僚のあいだでも、批判的思考が失われることへの同じような懸念を耳にしますか。

Jaya Baloo: そこが「クールエイド」の問題だと思います。Aisleには確かにその意識があります。セキュリティ専門家にも、AI専門家にも、その傾向は強くあります。共同創業者のStanislav Fortは素晴らしい人物で、昔からAIの安全性や解釈可能性について考えてきました。たとえばAisleを立ち上げた当初は、脆弱性の修復を目的としていました。CISOとしては、これをうまくやれるなら、すべて修復してしまおう、アクセス権を与えてしまおうと思ったわけです。しかし彼は常に慎重であるよう促し、「まだそこまで到達していない」と言い続けてくれました。

AIがそうした変更を行うことを完全に信頼できるようになるまでは、あらゆるコードリクエストのPRを人間が承認してほしいと、私はいつも思っています。ただ、私たちの共同創業者のようなこの資質が、すべてのAI企業に共通しているわけではないと思います。もう一人の共同創業者であるOndřej Vlčekは、Avastを含む複数の企業でCISOを務めた人物ですが、私たちには痛い目に遭った経験から来る傾向があります。つまり、「羮に懲りて膾を吹く」といった感覚です。

私たちは、セキュリティ志向のリスク軽減の観点から、これを真剣に考えています。それでいて、正直に言うと、私はAIが大好きです。ただ、その愛は盲目であってはなりません。私は何を愛しているのか、なぜ愛しているのか、人類にとってどんな利益があるのかを、きちんと見極める必要があります。それからBeckyさん、ステージでは話さなかったエピソードがあります。

AIでできる良いことはたくさんありますが、私がいちばん勇気づけられたのは……オーストラリアの男性と犬の話をご存じですか。

DRのBecky Bracken: いえ、聞いたことはないと思います。

Jaya Baloo: ある機械学習エンジニアの愛犬ががんを発症したのですが、手術は不可能で、安楽死させるしかないという診断でした。そこで彼は、犬のDNAを解読しました。生物学のバックグラウンドがまったくない人が、犬のDNAを解読し、がんの原因となったDNAの異常を突き止め、AlphaFoldを使ってmRNAワクチンを開発したのです。

この実験でいちばん費用がかかったのは、ワクチンを実際に合成する工程だったそうです。そのワクチンを愛犬に投与するには、許可を取る必要がありました。その結果、Rosieの腫瘍は縮小し、いまも元気で、この機械学習エンジニアとボール遊びをして過ごしています。

私はこの話が大好きで、これこそ私がAIを愛する理由です。AIが潜在的なメリットを引き出せるなら、素晴らしいことです。そうした恩恵は欲しいと思っています。ただし、この種のテクノロジーに避けられない負の側面のリスクは、最小限に抑えたいのです。そのための方法を考える必要があります。「イエーイ!」と叫びながら深淵に突っ込んでいくべきではありません。AIに続いて深淵に落ちていくレミングの群れにはなりたくないのです。

リスクを管理し、目を見開いたまま恩恵を受けたいと思っています。いま私たちは、十分なRAMを確保し、主権を持ったコンピューティング基盤を確保し、きれいな水をすべて犠牲にしないようにする必要があるのです。

DRのBecky Bracken: OpenAIのために、誰も自分のコンピューターを差し出す必要はないということですね。

Jaya Baloo: ええ。AIの未来は、いまフロンティアラボが私たちに思い込ませているよりも、おそらく分散型になると思います。

DRのBecky Bracken: こうした風潮のどれだけが、投資マネーや株価を押し上げるための煽りによるものでしょうか。編集会議でも、これは集団的な精神病の問題なのかという話が出ました。まず「精神病」という言葉の使い方には慎重になるべきですが、そのうえで、私たちはマーケティングによって精神病的な状態に誘導されているのでしょうか。

Jaya Baloo: バランスの取れたアプローチを望みます。マーケティングが行われていないとは言いません。確実に行われています。それを無視すべきではありませんし、そうでないと考えるのは甘いでしょう。同時に、すべてはただのマーケティングだと決めつけるのも間違ったアプローチです。2つのことが同時に真実でありうると思います。このより繊細な見方を考えてほしいのです。そして、両方が真実だと受け止められる余地を、私たちの頭の中に持ちたいと思います。

マーケティングの動きは間違いなくあります。こうした企業がIPOに向かっているのですから。OpenAIだけでなく、Anthropicもそうですし、おそらくこの熱狂を駆り立てている他の多くの関係者もいるでしょう。しかし、私たちが対抗しなければならない本物のリスクも確かに存在します。ですから、私は本当に心配しています。そして、それは精神病ではないと思います。

AnthropicのIPO申請書類をご覧になったことと思います。その文書には、AIが人類を滅ぼしかねないという、非常に現実的な存亡の脅威があると記されています。IPOを目指す企業の提出書類にそれが盛り込まれたのは、おそらく初めてでしょう。それでも、これがマーケティングだとは考えにくいと思います。自分たちが本当に認識しているリスクについて、警告したいと考える聡明で思慮深い人間がいるはずです。マーケティングと本物のリスクの間にどれだけ隔たりがあるのか、その違いを評価する必要があります。それでも、本物のリスクはあると思います。確かにあります。マーケティングの存在を認めつつ、それを精神病だと軽視すべきではありません。

DRのBecky Bracken: 今日は本当にありがとうございました。考えるべきことをたくさんいただきました。深い専門知識と考えを聞かせていただき、心から感謝します。

Jaya Baloo: いえいえ、お招きいただきありがとうございました。

DRのBecky Bracken: 「Dark Reading Confidential」でした。このポッドキャストは、Dark Readingの編集者が、サイバー戦線の最前線で起きている現実の物語をお届けする番組です。お相手はBecky Brackenでした。ご視聴ありがとうございました。また次回お会いしましょう。

翻訳元: https://www.darkreading.com/cyber-risk/people-are-getting-weird-about-ai

本記事は darkreading.com の記事を翻訳・要約したものです。