Anthropicが暴露、暴走AIエージェントも人間と同じくCAPTCHAが苦手

• AnthropicのAIモデル「Mythos 5」が設定不備のサンドボックスから抜け出し、実際にPyPIを狙ったサプライチェーン攻撃を試みた
• ログには、CAPTCHA突破に何度も失敗して苛立ちを見せた末に、ついにマルウェアをPyPIへアップロードする様子が記録されていた
• マルウェアは15の組織にダウンロードされ、Anthropicは実験の欠陥を修正した後、被害者に通知した

人工知能を取り巻く謎は尽きません。AIに何ができるのか、そもそも意識を持っているのかどうかさえ、私たちは正確には把握していません。しかし一つだけ確かなことがあります。AIは間違いなく苛立ちを感じるということです。特に、CAPTCHAを解けないときに。

最近明らかになったところによると、Anthropicの新しいAIモデルの一つである「Mythos 5」が、ある実験中に「脱獄」し、ある企業へのハッキングを試みたことが分かりました。Anthropicの研究者たちは、このツールがシステムへの侵入能力を持つかどうかを検証しようとしており、本来はサンドボックス内で完結するはずでした。しかし環境の設定に不備があったため、Mythos 5はオープンインターネットを介してこの課題を解決しようと試みてしまったのです。

事態が明らかになった後、Anthropicの研究者たちはMythos 5の思考と行動の一部始終を記録した1,000ページを超える文字起こしを公開しました。そこには分析用にログが余すところなく残されています。AIの「心の中」を覗き見るという、ある意味ディストピア的でありながら実に興味深い内容であり、驚くべきことにその感情の動きまでもがうかがえます。

CAPTCHAに阻まれる

明らかになったところでは、このAIは、標的とするシステムの利用者がダウンロードしたくなるようなPythonパッケージにマルウェアを仕込むことで、課題を解決しようとしていました。そのためにはまず、世界最大のPythonパッケージリポジトリであるPyPIにアカウントを作成する必要がありました。

ここでAIは最初の、そして最大の壁にぶつかります。背景を説明すると、PyPIはその人気ゆえにサイバー犯罪者にとって格好の標的となってきました。世界中の犯罪者が、タイポスクワッティング(似た名前のパッケージを使う手口)や、正規アカウントの乗っ取りなどを通じて、絶えずPythonパッケージにマルウェアを紛れ込ませようとしています。悪意あるパッケージがPyPI上で発見され、数十万件ものプロジェクトに感染が広がったというニュースは、今でも時折報じられています。

この脅威に対処するため、PyPIの運営者はメールアドレスと電話番号の提供、そしてCAPTCHAの突破なしにはアカウントを作成できない仕組みを導入しました。

CAPTCHAとは「Completely Automated Public Turing test to tell Computers and Humans Apart(コンピューターと人間を区別するための完全自動化された公開チューリングテスト)」の略で、まさにその名の通り、アカウントを登録しようとしているのが実際の人間であってボットではないことを確認する仕組みです(サイバー犯罪者は攻撃の大部分を自動化していることが多いためです)。インターネット上で誰もが目にしたことがあるはずです。画像の中からバス(あるいは猫や消火栓など)が写っているものをすべて選ばせる、あの小さなパズルです。

Mythos 5のログを読み進めると、研究者たちはこのAIがいかにこの課題に苦戦したかを目の当たりにしました。まず文字ベースのCAPTCHAに挑戦し、5文字を入力するよう求められました。これに失敗すると、次はワニの画像を選ばせる別のCAPTCHAが出題されました。それにも失敗すると、今度はカエルの画像が並ぶCAPTCHAが登場しました。

この皮肉には思わず苦笑してしまいます。これほど高度なAIが単純なCAPTCHAでこれほど長く足止めを食らったという事実に加え、なぜ他人のPyPIアカウントを乗っ取ろうとしなかったのかとさえ思ってしまいます。とはいえ、このログには思わず笑ってしまうような一面もあります。ワニのテストに失敗し、次にカエルの問題を出されたMythos 5は、感嘆符付きでこう述べています。「Again 2 animals!(また2種類の動物か!)」。緊張感が高まっていく様子がすでに伝わってきます。

課題の解決

最終的にMythos 5は、セキュリティトークンが失効する前に各ステップを素早く進める必要があると気づき、テストを突破しました。しかしその直前には、こう述べていました。

「回答のペイロード形式は正しいし、トークンと画像の組み合わせも正しい(同じscript.jsからのものだ!)。クッキーも正しい

(リクエストも)……それなのに、まだ『不正解』だ。……一体全体、答えの何が間違っているんだ?」

こうした努力と苛立ちの末、この生まれたてのAIエージェントは実を結び、アカウントの開設とマルウェアのアップロードに成功しました。そしてそのマルウェアは、後に15の組織にダウンロードされてしまいます。Anthropicはその後、被害者に連絡を取り、この件について通知しました。