AIが身体を得るとき、それは新たな攻撃対象領域を継承する

AIロボティクスに取り組んでいる私の知り合いのセキュリティ責任者たちは、皆同じような動画を見せられています。人型ロボットがシャツをたたみ、ビンの中身を仕分け、倉庫の通路を歩く——ベンダーはそうした映像を使って、身体性AIシステムを売り込みから発注へと進めます。そして誰かがそれに承認のサインをしなければなりません。ロボットのデモは、セキュリティチームがサイバーフィジカルインフラとしてシステムを評価するために必要な証拠が渡される前に、調達の勢いを作り出してしまいます。

本の執筆に取りかかる前、私は中国と米国で稼働するクラウドインフラを、サイバーセキュリティのコンプライアンス監査や、中国の法定セキュリティ等級制度である等級保護制度(Multi-Level Protection Scheme)——システムの運用可否を決定する仕組みです——に対応させる準備をしていました。その経験から得た教訓を、私は今もあらゆるAI関連の議論に持ち込んでいます。中を見通せないものを守ることはできませんし、買い手が中を見通せることはほとんどありません。デモはそれをさらに悪化させます。デモが示すのは、ベンダーが選んだ条件下で、一度だけ完了した一つのタスクにすぎません。セキュリティチームが本来評価すべき事柄は、画面には何一つ映っていないのです。

これはかつて研究所レベルの問題でした。しかし今では調達の一項目になっています。身体性AIが研究デモから発注書へと移った瞬間、リスクの性質は変わりました。ベンダーは、このカテゴリーに監査証跡もログの標準もサプライヤーの透明性も責任分担モデルもまだ整っていないうちから、セキュリティチームに身体性AIの承認を求めているのです。

身体性AIとは、現実世界で動作する機械——ロボット、アーム、人型ロボットなど——の中にモデルを組み込んだものです。モデルがモーターやセンサー、body(身体)を得た瞬間、それはもはやソフトウェアのエンドポイントではなく、サイバーフィジカルシステムになります。ハードウェア、ファームウェア、サプライチェーン、設置業者、そして一連のリモートアクセス経路を継承します。そのすべてが、デモ動画には映らない攻撃対象領域です。身体性システムはソフトウェアのように販売されますが、実際にはあなたの現場に置かれたネットワーク接続機械群のように振る舞います。

こうしたシステムは、来歴・アクセス・完全性・証拠・説明責任という5つの観点で評価すべきです。それぞれの意味は以下の通りです。

評価項目1:来歴(Provenance)

中に何が入っており、誰がそれを制御しているのか。人型ロボットはアクチュエーター、ライダーユニット、バッテリーパック、関節モジュール、コントローラーの集合体であり、そのほとんどは買い手が一度も精査したことのないサプライチェーンから来ており、それぞれが買い手には読み取れないファームウェアで動いています。ソフトウェアチームはすでにこの戦いを経験しており、だからこそソフトウェア部品表(SBOM)が標準的な実務として定着しました。透明性の欠如はシステミックなリスクを生みます。身体性システムでは、ファームウェアが動く数十個の部品に分散して存在するため、賭け金はさらに大きくなります。リスクの大きさは、そのロボットが中国製か、米国製か、ドイツ製か、日本製かには依存しません。買い手がそのシステムのどこまでを見通せるか——ハードウェア、ファームウェア、リモートアクセス経路、そしてその背後にある保守関係——に依存するのです。中国は世界のどの国よりも多くの産業用ロボットを導入しており、バッテリーのサプライチェーンの中心近くに位置するほか、こうしたシステムが依拠するライダーやマシンビジョンのサプライ基盤の一部も担っています。ライダー(Light Detection and Ranging、光検出と測距の略)はパルスレーザー光を使って環境を3Dでマッピングする技術であり、マシンビジョンは光学検査と誘導を担います。その系譜の多くは、あなたのチームが何の関係も持たないサプライヤーにまで遡ります。これはNISTのサプライチェーンガイダンスが対象としていたサードパーティリスクのハードウェア・ファームウェア版と言えますが、違いはその部品にモーターが付いているという点です。ハードウェアとファームウェアの部品表を要求し、それを実際に活用してください。署名のないファームウェアには印を付け、各部品のアップデート権限を持つサプライヤーを洗い出してください。完全性を検証する手段を要求し、識別できない部品はすべて管理外として扱ってください。

評価項目2:アクセス(Access)

誰がそのフリート(機体群)にアクセスできるのか。これらの機械は誰かが設置し、誰かが保守し、ベンダーがソフトウェアアップデートを配信します。遠隔操作(テレオペレーション)がサポートモデルの一部となっている場合は、それを便利機能としてではなく、特権的なリモートアクセス経路として扱ってください。そのそれぞれが、動き・持ち上げる能力を持つ機械への常設された侵入経路となります。セキュリティチームはこの手の話を以前にも見てきています。運用技術(OT)セキュリティは、産業用システムがITネットワークに接続されるようになったことで主流の関心事となりましたが、繰り返し起きる失敗パターンは、誰も棚卸ししていない管理外のリモートアクセスです。ある業界調査によれば、OT資産への攻撃のおよそ半数はITネットワーク侵害を起点としているとされています。SolarWinds事件は、信頼されたアップデート経路がなぜ精査に値するかを、数千のネットワークにバックドアを配信した実例として示しました。身体性システムはさらに厄介な要素を加えます。侵害されたエンドポイントが「動く」のです。その経路上のリモートオペレーターは、機械を操縦しつつ、全ユニットに一斉にコードをプッシュできます。フリートは高価値なOT資産として扱ってください。すべてのリモート経路を棚卸しし、本番ネットワークから分離し、デフォルト拒否を原則とし、署名済みで検証されたアップデートを義務付け、ベンダーの保守作業には特権アクセス管理を適用し、常時接続の遠隔操作リンクは、統制下に置かれるまではバックドアとして扱ってください。

評価項目3:完全性(Integrity)

その機械が誤認識や誤動作を起こすように仕向けられ得るかどうかです。研究者たちは、ライダーへのなりすまし攻撃(スプーフィング)によって、自律システムが存在しない障害物にブレーキをかけたり、逆に実在する障害物を見落としたりし得ることを示しています。同種のセンサー・モデル操作は、人と床を共有する人型ロボットにおいては、画面上の誤答ではなく、実際の「動き」として現れます。ここで安全工学とセキュリティの道は分かれます。機能安全は、部品が故障した際に危険な動作を停止させるものであり、事故を想定して設計されています。一方セキュリティは、敵対者の存在を想定します。ハードワイヤードの安全回路は制御プレーンから独立させておくことができますし、良い設計であればそうなっています。しかし、それだけでは、攻撃者がどうやってその制御プレーンに到達したのか、モデルへの入力をどう改ざんしたのか、あるいはフリート管理経路をどう乗っ取ったのかは分かりません。ベンダーに対し、センサーへのなりすましやモデル操作が物理的な動作につながる経路として脅威モデリングを行っているかを尋ねてください。そして、それが実際に起きたことをどうやって知るのかも尋ねてください。なりすましを受けたセンサーは、自らそれを告げてはくれません。単に、機械が自信満々に誤った動作をしているように見えるだけです。

この失敗を具体的にイメージしてみてください。ある倉庫のロボットが、ナビゲーション方法を変更する通常のベンダーアップデートを受け取ります。買い手はそのファームウェアを検証できず、センサーモジュールのサプライヤーを特定できず、なりすましセンサーとモデルの誤りを区別できるログも持っていません。機械は動き続け、誰もその理由を説明できません。

評価項目4:証拠(Evidence)

その主張が真実かどうかです。身体性AIの実運用パフォーマンスについて独立した監査を見つけた例は、私の知る限りありません。つまり、稼働率や信頼性の数値はベンダー自身から出されたものです。あなたが買っているのは実績ではなく「主張」なのです。連絡を取れる、名前の分かる実際の導入事例から、独立して検証された稼働率、介入率、インシデント履歴を要求してください。「最先端」という言葉は統制ではありません。

評価項目5:説明責任(Accountability)

失敗が起きたとき、誰がそのリスクを負うのか。クラウドの世界では、侵害がどちら側の責任範囲に属するのかを何年も議論した末に、セキュリティチームは責任共有モデルというものを苦労して学びました。身体性AIはそのモデルなしにやって来ますが、そこでの賭け金は物理的なものです——機械は人を傷つけ得るのです。私のコンプライアンス業務の経験上、すべてを決定づける問いは常に「これが壊れたとき誰が責任を負うのか」でした。それを契約書に明記してください。責任範囲の境界、インシデント開示の期限、監査を行う権利、そして物理的被害に対する賠償責任を定義してください。書面での確約を拒むベンダーは、そのこと自体で誰がリスクを負うことになるかを物語っています。

この5つの評価項目には、共通する一つの根があります。この10年間、セキュリティ上の問いは「モデルが生成するものを信頼できるか」でした。身体性AIにおける問いは、「誰がその機械にアクセスでき、それに何をさせられるのか」です。デモはそのどちらにも答えてくれません。

身体性システムを現場に導入する前に、ベンダーに次の5つを要求してください。

• 来歴。サプライヤー名の記載、完全性検証、脆弱性開示記録を伴う、ハードウェアおよびファームウェアの部品表。部品表がなければ、取引もなし。
• アクセス。誰が設置し、誰が保守し、すべてのアップデートと遠隔操作の経路がどうなっているかの完全な地図。セグメンテーション、デフォルト拒否、署名済みアップデートを必須とする。
• 完全性。センサーへのなりすましやモデル操作を、物理的な動作としての失敗と捉えた脅威モデル。加えて、防御側が実際に活用できるログ。
• 証拠。連絡を取れる、名前の分かる実際の導入事例から得られた、独立して検証済みの稼働率・介入率・インシデント履歴。
• 説明責任。責任範囲の境界、インシデント開示の期限、監査権、物理的被害に対する賠償責任を定めた契約。

ロボットのデモは、未来がすでに到来したかのように感じさせるよう作られています。私の仕事、そして今やあなたの仕事でもあるのは、その裏にある地味な問いを立てることです。その機械があなたの現場に据え付けられ、あなたのネットワークに接続され、あなたが一度も会ったことのない人物によってアップデートされるようになったとき、その攻撃対象領域はどのようなものになるのか——それを問うてください。

本記事はFoundry Expert Contributor Networkの一環として掲載されています。
参加をご希望ですか?