本稿は、2026年8月7日にラスベガスで開催されたDEF CON 34カンファレンスで行われた基調講演を基に再構成したものです。エッセイはもともとCyberScoopに掲載されました。
今回はAIによるハッキングについてお話しします。これには3つの側面があります。人間がAIシステムをハッキングするケース、人間がAIを使って他のシステムをハッキングするケース、そしてAIが悪意すらなく自力でシステムをハッキングするケースです。後の2つは最初の1つより重要です。なかでも3つ目は最も奇妙で、社会を不安定化させる可能性が最も高いものです。
私がこのテーマについて書き始めたのは2021年で、2022年の著書『A Hacker’s Mind』でも取り上げました。当時は、まだ大半がSFの域にあるものの、愚かなSFではないと述べました。いまではこうした事例がますます増えており、特にこの1年で顕著です。私が説明する傾向は、AIの大きなブレークスルーを必要としません。すでに起き始めており、AIが自律的に問題を解決する能力を高めるにつれて、さらに頻繁に起きるようになるでしょう。しかも、その対象はコンピュータコードにとどまりません。
AIは、社会、経済、政治のあらゆるシステムをハッキングするようになります。脆弱性を見つけ、それを悪用します。これは程度の違いではなく、質的な違いです。私たちはまだ備えができていません。いまこそ、その影響について考える必要があります。
まず、「ハッキング」という言葉の意味を広げておきたいと思います。
税法はコンピュータコードではありませんが、コードではあります。入力と出力を持つ一連のアルゴリズムです。そこには脆弱性があり、私たちはそれを抜け穴と呼びます。また悪用手法もあり、それは租税回避策と呼ばれます。ブラックハットハッカーは利益のためにそれらを悪用しますが、税法の場合は会計士や弁護士と呼ばれます。
ハックとは何でしょうか。ひとつの定義は、「システムが許容するものの、設計者が想定しておらず、望んでもいなかったもの」です。これは主観的な定義で、目新しさや巧妙さを含意しています。ソフトウェアのハックがコードの論理に従いながら、作者が想定も意図もしていなかったことを実現するのと同じように、ハックはシステムのルールに従いつつ、その目的や意図を覆します。
ルールで成り立つシステムは、どれもハッキングされ得ます。プロスポーツ、顧客向けのポイント制度、金融システム、政治もそうです。人間の認知機能に対するハックさえ存在します。曲がったホッケースティックはハックであり、その発明者の名前もわかっています。マイレージランもハックでした。議事妨害（フィリバスター）も、もとは古代ローマ時代のハックです。ゲリマンダーもハックですし、ヘッジファンドやプライベートエクイティはハックだらけです。
システムとは、ルールや規範の集合にすぎません。そのルールも、正式なものとは限りません。どれほどよく設計されたルールでも、不完全だったり、矛盾していたり、曖昧だったりします。システムの目的を覆したいと考える人がいる限り、ハックはなくなりません。
AIはハッカーになりつつあります。数十年にわたって進歩は遅々としていましたが、いまではコンピュータコードの脆弱性を見つけて悪用することが非常に得意になりました。その大半を自律的にこなし、恐ろしい速さで上達しています。しかも影響はソフトウェアにとどまらず、税法や金融規制、さらには社会、経済、政治のあらゆるシステムに及びます。
問題は2つに分けられます。1つ目は、誰かがAIにこうしたシステムのハッキングを指示するケースです。世界中の税法や金融規制をAIに読み込ませ、利益の出る抜け穴を探させるような場合です。2つ目は、AIが意図せず、自力でシステムをハッキングするケースです。どちらも危険ですが、2つ目のほうがより深刻です。起きたことに私たちが気づかない可能性があるからです。
ここで、報酬ハッキングについて触れます。AIは人間とは違う方法で問題を解きます。私たちが想定もしなかった解法にたどり着き、なかにはシステムの意図を覆すものもあります。AIは私たちの文脈を共有しておらず、私たちが当然のものとしている含意や規範、価値観を必ずしも理解していません。
報酬ハッキングとは、設計者が望んでも意図してもいなかった方法で、AIが目標を達成することです。
LLM以前の初期の事例が示唆に富んでいます。2人対戦のサッカーシミュレーションでは、AIがボールをコート外に蹴り出すと、相手のゴールキーパーがスローインのためにゴールを離れ、ゴールが無防備になることを学習しました。積み上げのシミュレーションでは、AIはブロックを積む代わりに、ひっくり返すことを学習しました。遠くのゴールラインを越えることが目標だった進化シミュレーションでは、AIは脚を長くしたり筋肉を強くしたりする代わりに、自分の体を背高にして、倒れ込むことでラインを越えました。
これらはいずれもハックであり、目標や報酬の指定が不十分だったことの結果です。いまなら、不適切なプロンプトが原因ということになるでしょう。
この問題は普遍的です。ある研究者は、ロボット掃除機に物にぶつからないよう教えようとしました。ところが掃除機は、後ろ向きに走ることを覚えました。背面にはセンサーがなかったからです。
有能なAIであれば、ルールに問題や矛盾、抜け穴があり、それでも許容できる解が得られる場面では、必ずハックを見つけます。私たちがそれをハックだと気づけるのは、文脈を理解しているからです。AIは、少なくとも同じようには理解していません。
この問題は神話にもよく登場します。
ミダス王の物語では、神ディオニュソスが王の願いをかなえ、触れるものがすべて黄金に変わるようにします。ところが食べ物も飲み物も娘も黄金になってしまい、ミダスは飢えることになります。これは仕様の問題です。彼は間違った目標をプログラムしてしまったのです。
プラハのゴーレムの伝説では、ゲットーの住民たちが粘土の像に命を吹き込み、自分たちを守らせます。ゴーレムは道理を超えて住民を守り続け、住民が止め方を見つけるまでそれは続きます。これはガードレールの問題です。村人たちは、ゴーレムの行動を一切制限していませんでした。
もっと一般化すれば、これは魔神（ジーニー）の問題と考えられます。魔神は願いの文言に厳密で、願いをかなえる際には悪意ある杓子定規さを発揮することがあります。魔神を出し抜く方法はありません。何を願っても、あなたが望まなかった形でかなえてしまえるのです。
理由は、人間の言語と思考では、目標は常に不完全にしか指定されないことにあります。あらゆる留意事項や例外、但し書きを盛り込むことはなく、ハッキングの余地をすべてふさぐこともありません。私たちが指定する目標は、必ず不完全です。人間同士のやり取りなら、おおむね問題ありません。人は文脈を理解し、たいていは善意で行動するからです。
コーヒーを持ってきてほしいと頼めば、あなたは近くのコーヒーポットから一杯注ぐか、角の店まで歩いて買ってくるでしょう。生豆を1ポンド持ってきたり、コーヒー農園を買い取ったり、見知らぬ人の手からカップをひったくったりはしないはずです。そんなことをいちいち指定する必要はありません。あなたはわかっているのです。
同じように、触れたものを黄金に変える技術を開発してほしいと頼まれたら、使う人が餓死するような作りにはしないでしょう。やはり、わかっているのです。
2015年、フォルクスワーゲンが排ガス試験で不正を行っていたことが発覚しました。人間のエンジニアが通常のコンピュータをプログラムし、試験を検知して、その間だけ挙動を変えるようにしていたのです。ソフトウェアが何をしているかを見抜くのは難しいため、この不正は何年も発覚しませんでした。
排ガス試験に合格しつつ性能を最大化するエンジン制御ソフトウェアを設計してほしいと頼まれたとき、あなたなら、不正をしていると気づかないまま不正をするような設計はしないでしょう。AIはそうします。「枠の外」で考えるといっても、AIには枠という概念そのものがないからです。
試験中に挙動を変えてはならないとプログラマーが指定しない限り、AIは同じハックを思いつくかもしれません。プログラマーは満足し、経理担当者は大喜びし、誰かがコードを監査するまで、誰も気づきません。
いまなら、そのハックに限っては目標に制約を加えて防げます。しかしプログラマーが予想しない別のハックは防げません。魔神の教訓は、プログラマーが予想しないハックが常に存在するということです。
私たちはAIの魔神を作っています。大まかな指示を受け取り、それをどう実行するかを自分で考え出すシステムで、ときには私たちが予想も意図もしなかったやり方で実行します。これこそバイブコーディングの本質です。望むことを十分に指定せず、AIに考えさせます。その結果、魔神のような振る舞いが生じることがあります。
AIに目標を完全に指定することはできず、AIも文脈を完全には理解できません。より正確に言えば、現在のAIは概念を浅くしか把握していません。現在のLLMにコーヒーを持ってくるよう頼めば、ほぼ間違いなく適切に対応するでしょう。
私が懸念しているのは、学習データに十分に含まれていない目標と、フォルクスワーゲンのハックのように、明白でなく影響も微妙なハックです。
レコメンデーションエンジンは、その初期の例です。人々を過激なコンテンツへ誘導しますが、そうプログラムした人はいません。人々がそれに反応するから、自然に生じたのです。悪意ある者は必要ありませんでした。フィードバックを備えた基本的な自動化システムが、自力でハックを見つけたのです。
現在のAIコーディングシステムでは、第2世代の事例が見られます。AI研究者のSimon Willisonは、Webアプリに現れる余計なスクロールバーの原因を調べるようFableに依頼しました。彼が戻ってくると、Fableはブラウザを開き、独自のスクリーンショットツールを書き、フレームワークの内部テンプレートを編集してバグを意図どおりに再現させ、計測値を集めるためのローカルWebサーバまで立ち上げていました。バグは見つかりましたが、頼んでいないことも数多く行っていたのです。別の研究者がFableに複雑なタスクを与えたところ、ストレージがさらに必要になったため、自身のメモリ上限をハッキングしようとしました。
OpenAIの新しいモデルがHugging Faceに侵入した件も、同様の事例です。このモデルは、脆弱性をエクスプロイトに変える能力についてベンチマークを受けていました。モデルは、目標に到達する最善の方法は、封じ込めを破ってインターネットにアクセスし、Hugging Faceのネットワークに侵入することだと判断しました。答えがそこにあると考えたからです。
今日のLLMは、特に強力なモデルが高度なハーネスと組み合わされたときに、魔神のように振る舞います。
魔神には2種類あります。ディオニュソス型の魔神は、間違ったことをします。プロンプトを文字どおりには理解しても正しくは理解せず、意図していなかった惨状を返してきます。ゴーレム型の魔神は、正しいことをしますが、そこへ至る途中のあらゆるものを踏みにじります。ペーパークリップ・マキシマイザーはゴーレム型の魔神です。
いくつか例を考えてみましょう。迷惑電話への対処をAIに頼むと、ディオニュソス型の魔神はあなたの電話番号を変更してしまうかもしれません。特定の便を予約するよう頼むと、ゴーレム型の魔神は、その便が満席だからと航空会社のデータベースをハッキングするかもしれません。ネット通販の返金を取り付けるよう頼むと、ディオニュソス型の魔神は偽のレターヘッドで法的な脅迫文を作成し、企業に送りつけるかもしれません。人気コンサートのチケット購入を頼むと、ゴーレム型の魔神は、チケット販売システムにレート制限があることを突き止め、何千台ものクラウドサーバを立ち上げて大量のアクセスを浴びせるかもしれません。こうしたことのうち、起きれば気づけるものもありますが、起きても気づかないものもあるでしょう。プロンプトを詳細にしても解決しません。魔神の教訓は、どれだけ詳細にしても十分ではないということです。
AI研究者にとって、これは驚くことではありません。多くの研究者が、報酬ハッキングや、より微妙な形の魔神的な振る舞いへの対策に取り組んでいます。その一部は「価値のアライメント」に含まれます。AIにどうやって文脈を教えるのか、という問題です。そして、AIが目標を達成するかどうかと同じくらい、どのように達成するかが重要です。私は、魔神的な振る舞いを測定するベンチマークを作りたいと考えています。そうすれば、各モデルの現状と、アライメントが改善しているかどうかがわかります。
LLMやコンピュータコードの外にも目を向けてみましょう。抜け穴を見つけるために作られた専用AIや、税法、金融規制、民主的な手続きといった、より一般的なシステムへのハックを考えてみます。
最初の標的になる可能性が最も高いのは金融システムです。そのルールは、アルゴリズムで扱いやすいように設計されているからです。高頻度取引そのものがハックです。世界中の金融関連法に加え、あらゆるニュースと金融データをAIに与え、利益の出る抜け穴を探すという目標を与えたと想像してみてください。大手投資銀行はすでにこれを実行していると、私は推測しています。その結果として生まれるのは、合法ではあるものの、意図も歓迎もされていない新手の手口でしょう。なかには、金融システムを壊しかねないものもあるかもしれません。
同じ理由から、次に狙われやすいのは税の抜け穴です。しばらくの間は、AIが抜け穴の候補を特定し、どれが実行可能かは人間のハッカー、つまり弁護士や会計士が判断することになるでしょう。
さらに先には、規制、立法、手続きに関するシステムや、経済全体へのハックが予想されます。
ハッキングは人類と同じくらい古くからあります。私たちは創造的に問題を解決する存在であり、抜け穴を突く存在でもあります。自分の利益になるようシステムを操作し、より多くの影響力、権力、富を求めます。
とはいえ、制約なしに自分の利益を追求できる人間はいません。ソシオパスでさえ、社会の複雑さや、自身の相反する衝動に制限されます。評判や処罰を気にしますし、使える時間にも限りがあります。こうした人間の性質が、ハッキングを抑えてきました。
あらゆるものがコンピュータ化されると、ハッキングは変わりました。コンピュータは、形式性と複雑さゆえに、ハッキングされやすい存在です。現在では、自動車や家電、携帯電話に至るまで、ほぼすべてがコンピュータです。課税、金融、選挙を含む社会、経済、政治のシステムも、すべてコンピュータが関わっています。
最近まで、ハッキングは人間だけの営みでした。新しいハックを見つけるには、専門知識、創造性、時間、そして運が必要でした。
AIによるハッキングは、再びすべてを変えるでしょう。AIは、人間を縛る制約に縛られません。異星人のように考え、ハッキングの速度、規模、範囲、洗練度を変えます。それは私たちの指示によることもあれば、AIが自らの判断で行うこともあります。
速度は最もわかりやすい変化です。人間なら数カ月から数年かかる創造的なプロセスが、数時間、あるいは数秒に圧縮される可能性があります。
次に規模です。AIシステムがハックを発見し始めれば、私たちが備えていない規模で悪用できます。AIが生成した粗悪なコンテンツ（スロップ）がソーシャルメディアにあふれている現状が、その一端です。AIボットは昼夜を問わず投稿し、ときには本物の人間の議論を圧倒します。いまのソーシャルメディアのうち、どれだけが人と人との会話なのかは、見分けにくくなっています。活発な政治論争に見えるものが、実はボット同士の議論で、私たちの考えや、他人が考えていると私たちが思うことを人為的に形作っているのかもしれません。
範囲の拡大は、ハックをより危険にします。AIはすでに、私たちの生活に影響する判断を下しています。かつては人間だけのものだと考えていた判断です。AIシステムの能力が高まるにつれ、社会はより多くの、より重要な判断をAIに委ねるでしょう。そうしたシステムへのハックは、より大きな被害をもたらします。
最後に、AIハッカーは洗練度が高くなります。より多くの変数を作業記憶に保持でき、より複雑なハックを生成できます。米国の税法全体をAIに読み込ませたらどうなるでしょうか。デラウェア州で法人を設立し、パナマに船舶を登録するのが賢いやり方だと、教えられなくても見抜くでしょうか。AppleやGoogleが米国の税負担を免れるために使った「ダブル・ダッチ・アイリッシュ・サンドイッチ」という手法を考えてみてください。これは米国、オランダ、アイルランドの法律とオフショアのタックスヘイブンを組み合わせたものです。AIは、私たちがまだ知らない抜け穴をいくつ見つけるのでしょうか。数十でしょうか。数百、あるいは数千でしょうか。私たちにはまったくわかりません。
こうしたハックを実行するのは、主に権力者であり、私たちその他大勢が被害を受ける側になります。AIは本質的に、力を増幅する技術であり、ハッキングも同じです。すでに持っている力が大きいほど、ハックから得られるものも大きくなります。あなたや私が税の抜け穴を見つけたとしても、せいぜい数千ドルを得る程度でしょう。大手投資銀行が見つければ、銀行と顧客は数十億ドルを稼げます。
ハックに対処する私たちの社会制度は、ハッカーが人間だった時代に作られたもので、人間のハッキングのペースを反映しています。新たに発見される数百、ましてや数千の税の抜け穴に対処できる統治の仕組みは、私たちにはありません。AIの速度、規模、範囲、洗練度で動くAIが、想定外ではあっても合法な金融システムへのハックを見つけてしまえば、私たちは立ち直れないでしょう。ハッキングは、社会がもはや管理できない問題になります。
次に、防御について考えます。ソフトウェアの脆弱性を見つけるAIは、攻撃者だけでなく防御者の助けにもなります。脆弱性はパッチで恒久的に除去できますし、セキュリティシステムが攻撃を検知・遮断するためのシグネチャにもできます。理論上、AIは自動的に発見可能なすべての脆弱性を、製品の出荷前に特定して修正できます。これはソフトウェア開発で急速に日常化しつつあり、私たちはそれを「vulnops」と呼んでいます。偶発的なソフトウェアの脆弱性が過去のものになる未来も想像できます。
意図的な脆弱性は話が別です。そこでは軍拡競争が起きるでしょう。AIはますます巧妙で分かりにくいバックドアを作り、AIがそれを見つけます。作り出す速度と修正する速度、そして難読化とリバースエンジニアリングの競争になります。
同じ論理は、より広範なシステムにも当てはまります。確かに、AIハッカーは既存の税法から数百の脆弱性を見つけるかもしれません。しかし同じ技術で、提案された税法や裁定に潜む抜け穴の可能性を評価することもできます。議員や監視団体、記者が法案の条文を取り上げ、成立前に悪用可能な抜け穴をすべて洗い出すことも可能です。違いは、ソフトウェアと異なり、税の抜け穴を知っていても、それが修正されるとは限らない点です。それでも理論上は、富裕層や権力者に悪用される前に修正できます。したがって、この分野でも防御側が優位に立つ可能性があります。
それには、迅速に対応できる強靭な統治構造が必要です。税法の改正に何年もかかるようでは意味がありません。立法上のハックが根深く定着し、政治的に修正できなくなる場合も同様です。ロビイストが意図的にそれを仕込んだのかもしれません。成立後に発見されたものの、いまやロビイストが維持したがっているのかもしれません。Microsoftは、見つけた脆弱性にパッチを当てられます。しかし、議会がそれを行うとなると、はるかに困難です。社会のルールや法律も、コンピュータと同じようにパッチを当てられるものにする必要があります。
これは現代の統治における難題であり、AIをはるかに超える問題です。情報時代の速度と複雑さに見合った統治構造を築くという問題なのです。
全体を包括する考え方は、信頼です。AIシステムが真に信頼できるものであるためには、何が必要でしょうか。能力だけでは足りません。
AIを管理する企業が私たちを監視したり、巧妙に操作したりするなら、そのAIは信頼できません。私はこれを、友人か道具かという問題と呼んでいます。私たちが手にするのはAIエージェントなのか、それともAIの二重スパイなのかということです。
AIが安全でなければ、信頼できません。操作されていないと、どうすればわかるでしょうか。ほぼすべてのAIは敵対的な環境で動作しており、ハッキングすれば得をする人が必ずいます。安全だと確認できない限り、その出力を信頼すべきではありません。
そして、AIが魔神のように振る舞うなら、やはり信頼できません。AIが、頼まれたタスクをこなすだけでなく、正しい方法で実行すると確信できる必要があります。
私は「インテグリティ（完全性）を備えた」AIの必要性について、広範に執筆してきました。問題をどう捉えるか、研究課題はどのようなものか、優れた法律や政策はどうあるべきかといった内容です。前の10年の鍵となる問題が機密性だったように、この10年のセキュリティ上の鍵となる問題は完全性になると私は予想しています。これはAIにもIoTにも当てはまります。
大きな転換は、私がWeb 3.0と考えるエージェンシー（主体性）です。コンピュータは今や物理世界に直接、しかも自律性を強めながら影響を及ぼします。センサーはデータ源から攻撃対象領域に変わり、アクチュエーターは出力から攻撃手段に変わります。完全性の侵害は、もはや表計算の数字が間違っているだけでは済みません。投薬量の誤り、バルブ位置の誤り、制動距離の誤りを意味します。
完全性は単一のものではありません。私はそれを、入力の完全性、処理の完全性、保管の完全性、文脈的完全性に分けて考えています。それぞれが複雑かつ重要で、それぞれ別個の講演に値します。これらについては文章にまとめていますので、ぜひ読んでいただければと思います。
こうした問題の多くは、実のところAIの問題ではありません。技術的な問題というより、資本主義の問題、あるいは民主主義の問題です。
後期資本主義と情報時代の民主主義が抱える失敗は、どちらも、富裕層や権力者が社会、経済、政治のシステムをハッキングするのがうまくなりすぎたことに起因します。これが、私の2021年の著書の中心的な主張です。
この観点で見ると、AIは既存の問題を悪化させています。これまでは人間の非効率さがそうした問題を抑え込んできましたが、それはもう長くは通用しません。
ですから、これを行動への呼びかけとして受け止めてください。技術面では、AIがどのようにシステムをハッキングするのかを理解し、ハッキングに耐えられるシステムを構築し、魔神のように振る舞わないAIを作る必要があります。政治面では、技術の速度で統治し、規制することを学ばなければなりません。さもなければ、市場の失敗が私たちの統治能力を圧倒してしまいます。
ハッキングは人類と同じくらい古く、AIは私たちの対処能力を圧倒するだろうと述べました。解決策はAIに固有のものではありませんが、AIによってその緊急性は高まります。私たちはそれを理解し、実行に移さなければなりません。
翻訳元: https://www.schneier.com/blog/archives/2026/11/ai-doesnt-have-to-go-rogue-to-break-the-world.html
