航空業界は「注意力の問題」を解決した。AIはそれよりも厄介な問題をセキュリティ業界に突きつけている

混雑したレーダースコープを見つめ続ける航空管制官は、遅かれ早かれ、本当に重要な一機を見落としてしまうものです。持続的な注意力は負荷がかかると必ず低下します。航空業界はこの限界を「注意力低下(vigilance decrement)」と名付け、70年かけてこれに対処する仕組みを設計してきました。

AIはあらゆる知識労働者を、この管制官の椅子に座らせました。今やあなたは一度に十数機を同時に捌いています。開いたままの会話が6つ、バックグラウンドで下書きを作成しているエージェントが1つ、さらに待機中のものが3つ。それを誰かが「効率化」と呼んでいるのです。あなたのスコープは受信トレイです。そして注意力低下は、あなたが「ついていけ」と指示されたかどうかなど気にしてくれません。

ここでこそ、航空業界のルールが本当の意味を持ちます。しかもそれは「単純な機械」に委ねられる形で実現しています。危険な行動を守るべきなのは、人間の判断ではなく、事象そのものに反応して発動する仕組みです。銀行口座情報の変更には必ず既知の電話番号への確認コールを義務付ける、送金にはデュアルコントロールを課す、一定額を超える支払いは自動的に停止させる、といった具合です。

これらはいずれも目新しいものではありません。かつては、明らかに怪しいメールをフィルタで捕まえる仕組みの「保険」として、二重三重の安全策の一つに過ぎませんでした。しかし今、その「怪しさの兆候」自体が消えつつあるため、これらの統制がより多くの負荷を担わなければならなくなっています。衝突防止システムと同様に、これらの仕組みは誰の意図も読み取りません。行為そのものに対して、毎回例外なく発動し、誰にも「賢く判断しろ」とは求めないのです。

ただし、こうした仕組みが見逃してしまうケースもあります。それは、すでに一貫性を持った、筋の通った送金依頼です。実際に侵害されたベンダーのメールスレッドから届く、あらゆる細部が正しい依頼——これは確認コールをかけても、詐欺師が電話の反対側を握っているため、確認が通ってしまいます。これを見抜くには、その行動が文脈上理にかなっているかどうかを判断する必要があり、これは衝突防止システムが対処する必要のなかった、敵対的な性質を持つ問題です。

少なくとも現時点では、航空業界のルールがそのまま通用しなくなるのはここからです。この種の機械に「従え」と誰かに指示することはできません。なぜなら、これは確実性を持った単純な機械ではないからです。敵対的な不確実性の中で推測を行うものであり、推測を誤れば本物の送金を止めてしまうことになります。資金の流れに関わる機械が存在価値を持つのは、信頼されるに足るほど誤報が少なく、かつ誤った場合のコストが低く、経理部門がそれを迂回しようとしないだけの水準にある場合に限られます。

誤報の多い機械は、単に注意力低下の問題をバックアップ担当者に押し付けるだけです。そのバックアップ担当者も、管制官が見逃したのと同じペースでアラートを処理し、やがて見逃すようになるでしょう。「この機械に従え」と言えるだけの信頼性を実現することこそ、セキュリティ業界がまだ解決できていない課題なのです。

最後に問うべきこと

航空業界が改革を遂げたのは、「見て見ぬふり」を続けた代償が、71名の犠牲者を出す事故として現れたからです。セキュリティ業界における代償はもっと静かなものです。送金が処理され、アイデンティティが渡ってしまう。それだけです。それでもなお私たちは、航空業界がすでに「不可能だ」と証明したはずのことを、人々に求め続けています。すなわち、日常業務に紛れた稀な事象を捉える、信頼できる最後の砦として機能することです。AIはこの賭けを、さらに分の悪いものにしてしまいました。

この問題に最初に直面した業界は、「もっと注意しろ」とは求めませんでした。失敗した場合の代償が最も大きくなる瞬間を見極め、その周囲に統制の仕組みを構築し、過負荷状態の人間があらゆる危険な事象を捉えてくれることに依存するのをやめたのです。

セキュリティ業界にも、すでに「単純な機械」に相当するものがあります。誰かがその攻撃だと気づくかどうかにかかわらず、行為そのものに反応して発動する統制です。一方で、意図を読み取る機械は、それと同じ信頼を勝ち取らなければ、人々に従ってもらうことはできません。

したがって問うべきは、あなたの組織の人々が注意を払っているかどうかではありません。航空業界は数十年前から、いずれ人は注意を払えなくなると教えてくれていました。本当に問うべきは、誰かが送金を実行しようとする瞬間、あるいはアイデンティティを渡そうとする瞬間に、「気づいてくれることを願うだけの人間」以外の何かがその経路に立ちはだかっているかどうか、なのです。