業界は人間のためではなく、機械のためにAIを設計している。これは誤りではない。

AI業界はしばしば批判されています。なぜなら、システムはますます不透明になり、自律的になり、人間が質問しにくくなっているからです。この批判は通常、何か問題が起きてしまった、人間中心設計の視点を失った、解決策はAIを説明可能性、透明性、またはより直感的なインターフェースの方向に引き戻すことだという前提で行われます。しかし、このフレーミングはより根本的な現実を見落としています。業界は機械のためにAIを設計しています。なぜなら、それが自然に進む進歩の方向だからです。システムはもはや主に人間による解釈のために構築されていません。他のシステムと調整し、機械の速度で動作し、人間が間接的にのみ定義する目的に最適化するために構築されています。

これに本質的に問題はありません。実際、これは複雑なシステムが常に進化してきた方法です。金融市場、物流ネットワーク、通信システム、さらには現代のオペレーティングシステムも、人間の理解が機械間の相互作用に次ぐようになる時点に到達しています。変わったのは人間が消えたということではなく、人間の制御の性質が変わったということです。個々の行動について推論することをやめて、境界、制約、および障害モードについて推論し始めました。

AIは今、同じしきい値を越えています

モデルは人間が直感できないベクトル空間で推論します。エージェント・システムは、人間の承認を待つことなく、ツールと環境全体で計画、実行、適応します。メモリ、状態、およびフィードバックループは、読みやすさよりも永続性とスケールのために最適化されています。システムの視点からすると、人間が読める説明は事後考慮であり、要件ではありません。それは怠慢ではなく、効率的です。

誤りはAIが機械ネイティブになっているということではありません。誤りは、人間中心のシステムから継承した統治、説明責任、安全性モデルがこの新しい体制で機能し続けると仮定することです。機能しません。今日私たちが経験している摩擦は、説明、ダッシュボード、および透明性レポートが、もはや人間規模で動作しないシステムの実際の制御に代わることができるふりをしていることから生じます。

この文脈での信頼は誤解されています。私たちは、システムに自分自身を説明させることで信頼を構築しようとし続けています。説明が人間と機械ネイティブインテリジェンス間の主要なインターフェースであるかのようにです。しかし、複雑なシステムでの信頼は、すべての内部ステップを理解することから決して生じていません。エンジニアは、すべてのパケットを手で追跡できるので、分散データベースを信頼しているわけではありません。それらは、システムの一部が予期しない方法で動作する場合でも保持される不変量、保証、および障害の境界で設計されているため、それらを信頼しています。

AIでも同じシフトが起きています。システムがより自律的になると、信頼は解釈可能性から運用の信頼性へと移行する必要があります。問題はもはや人間がモデルの推論パスを追跡できるかどうかではなく、システムの動作が不確実性の下で境界を保ち、可逆的で、是正可能であるかどうかです。それは本質的に異なる設計目標です。

ここで、データはシステムのメモリと基本的な事実として、入力としてではなく、中心的な役割を果たします。機械ネイティブAIシステムの障害は主に、個々の推論エラーが原因ではなく、データが漂流し、劣化し、または現実と一致しなくなったときに発生します。従来のソフトウェアとは異なり、これらの障害はめったに自分自身を宣言しません。システムは動作し、適応し、最適化を続け、妥当に見える出力を生成しながら、ゆっくりと、それらがモデル化することを目的とした世界から逸脱しています。

これはすでに分析と意思決定システムでどのように展開されているかを考えてください。CRMまたは分析パイプラインでデータ品質が低下したとき、システムは停止しません。きれいなダッシュボード、自信のある予測、およびセグメント化されたインサイトを生成し続けます。明らかな障害がないため、人間はこれらの出力に基づいて行動し続けます。時間が経つにつれて、決定、資源配分、およびポリシーは、もはや正確ではない信号によって形作られます。誰かが気付いた時点で、組織は間違っているだけでなく、間違っていることにコミットしています。

関連記事：接続製品が予測保全を可能にする方法

回復力の再考

機械ネイティブAIの世界では、この動的は例外ではなく、規範となります。エージェント・システムは継続的に動作し、推論、メモリ、および実行を単一ループに組み合わせます。決定はもはや孤立したイベントではありません。それらは進化する永続的な状態マシンの一部です。エラーが発生したとき、それらは単一のモデル出力に起因することはめったにありません。それらはデータバージョン、システム状態、学習された動作、および環境フィードバック間の相互作用から生じます。

これが、従来の説明責任の概念がこれらのシステムで苦労する理由です。特定の結果に誰が責任を持つかを尋ねることは、結果が時間とシステム全体にわたって行われた多くの小さな自動化された決定の結果である場合、意味が薄れます。責任は個々のアクションからシステム設計にシフトします。実際の問題は、システムが自身の動作を含有、監査、および是正する機能を備えて構築されたかどうかです。

この視点からは、多くの現在のAIガバナンスの努力は一致していないように見えます。それらは文書化、報告、および説明に大きく焦点を当てています。目的が、以前のソフトウェアと同じ方法で人間にマシンネイティブシステムを読みやすくすることであるかのようにです。しかし、読みやすさは制御と等しくありません。複雑なシステムでは、決定を再生し、それを生成した正確なデータと状態を検査し、その影響を安全にロールバックする能力は、説得力のある説明よりもはるかに重要です。

ここで回復力は再考される必要があります。今日、回復力はまだ主にシステム中心の用語で定義されています。稼働時間、冗長性、フェイルオーバー、およびスループット。これらのメトリクスは、障害が機械的またはインフラストラクチャである場合に意味があります。しかし、AIシステムでは、障害は認識論的なものであることがよくあります。システムは稼働しており、応答性があり、パフォーマンスが高いですが、検出が難しい方法で誤りです。インフラストラクチャだけを中心に回復力を設計すると、誤った安心感が生まれます。

データ中心の回復力は異なります。それはシステムが自律的に動作し、人間は遅く、早くは介入しないことを前提としています。不変の履歴、バージョン管理されたデータ、および意思決定の追跡可能性を優先します。人間がすべてのステップを理解できるようにするためではなく、システムが事後に監査および是正できるようにするためです。可逆性と拘束を第一級のプロパティとして扱い、適応システムで完全な先見の明は不可能であることを認識しています。

関連記事：製品インテリジェンスの次の時代を定義するもの

実際の問題を解決するには、責任の不快な変化が必要です

AIが人間のためではなく、機械のために設計されているという事実を受け入れることは、責任の変化を余儀なくします。負担は、システムを直感的に理解できるようにすることから、構造的に説明責任を果たすようにすることへと移行します。これはより難しい問題であり、より多くの透明性や良い説明を求めることほど感情的に満足できません。しかし、それは私たちが実際に解決する必要がある問題です。