兵器開発に利用されるAI

先週、Anthropicは自社のClaudeモデルの悪用事例に関する、長大かつ詳細な文書を公開しました。私はまだ読んでいる途中ですが、次の点だけは取り上げておきたいと思います。

私たちは、イエメン北部を拠点とする脅威アクターの集団が、3つの兵器開発プログラムを運用していることを特定しました。1つ目は市販の電話クラスのフライトコンピュータを使用し、終末段階でホーミング誘導を行う誘導ロケット、2つ目は射程目標2,000km超を掲げる多段式弾道ミサイル、3つ目は極超音速滑空体バリアントを含む多様体ミサイル(「R2000」シリーズと呼ばれる)です。

このアクターたちは、飛行体を操縦・安定化させる誘導・航法・制御(GNC)ソフトウェアの開発において、人間のソフトウェアエンジニアの代わりにClaude Codeを利用していました。例えば、オープンソースのオートパイロットを電話クラスのフライトコンピュータに統合する際にClaudeを活用し、制御・位置推定ソフトウェアの記述、制御設定のチューニング、ファームウェアのビルドパイプラインの実行、飛行シミュレーションの実施を行わせていました。このアクターたちは複数のClaudeインスタンスを同時に管理し、小規模なエンジニアリングチームのリーダーが業務を割り振るように、それぞれに役割を割り当てていました。あるインスタンスにはコード記述、別のインスタンスにはリサーチ、さらに別のインスタンスには最初のインスタンスが生成したコードのレビューを担当させていたのです。

当社の安全対策は彼らの要求の多くをブロックしましたが、すべてを防げたわけではありません。このアクターたちは、目的やソフトウェアの用途を隠したり、単一のセッションで意図の全容が露見しないよう作業を複数のセッションに分割したりするなど、さまざまな手法で安全対策の回避を図っていました。

このアクターたちは、Claudeを誘導ソフトウェアの設計に利用するなど、誘導兵器の開発に向けた継続的な取り組みを行っていました。彼らが実際に稼働可能な装置の実戦配備に成功したという証拠はありませんが、誘導ロケットの試射は行っていました。この実地試験は失敗に終わったとみられ、アクターたちは数時間のうちにClaudeのもとへ戻り、失敗の原因を究明しようとしていました。

今後、こうした事例はさらに増えていくと見られます。AIシステムは専門知識と能力を民主化します。多くの場合それは良いことですが、そうでない場合もあるのです。