Microsoft 365障害の原因は「Windowsのバグ」と復旧機能の失敗

障害の拡大を食い止めるはずだったMicrosoftの復旧システムが、かえって被害を広げる結果になりました。

Microsoftは11月15日付の暫定報告書で、11月12~13日に発生したMicrosoft 365の障害について、数カ月前から存在していたソフトウェアの欠陥が一因だったと説明しています。この障害ではExchange Onlineのメールボックスにアクセスできなくなり、メールの配信も約24時間にわたって遅延しました。DefenderやPurviewなど、Exchangeに依存するサービスの機能にも影響が及びました。

セキュリティチームにとって、今回の障害は現実的な懸念を突きつけています。インシデント通知や対応手順は、それらを支えるサービスが停止したときにも利用できるのでしょうか。

Microsoftの暫定インシデント後報告書によると、問題の発端は、Microsoft 365への接続を処理するサーバー向けに7月に提供されたWindowsのソフトウェア修正でした。特定の条件下でソフトウェア内の複数の処理が競合し、過剰な処理能力とメモリを消費した末に、サーバーが応答しなくなったということです。

数カ月前から存在していたWindowsの欠陥、ネットワークトラフィックの増加、サーバー容量の低下が重なり、Microsoft 365の障害を引き起こした。

次のような条件が重なり、欠陥が表面化しました。

  • テストで見逃されたバグ:Microsoftのテストでは異なるトラフィックパターンと低性能のマシンを使用していたため、プロセッサコア数の多い新しいサーバーで悪化する問題を見逃しました。この結果は、 パッチ管理プロセスに、本番環境を再現した条件でのテストを含めるべき理由を示しています。
  • トラフィックの急増:障害発生の約15時間前、定例のTeamsフェイルオーバーにより、Exchange Onlineと共有するゲートウェイに追加のトラフィックが流れ込みました。
  • 利用可能な容量の減少:無関係の問題により、ゲートウェイ容量の約14%がすでに利用できない状態でした。増加した需要を処理できるサーバーが減っていたことになります。

これらが重なった結果、米国のトラフィックがピークを迎える時間帯に欠陥が露呈しました。Microsoftは、問題のコードは同社のクラウドゲートウェイ基盤に固有のもので、一般的なWindows環境には影響しないと確認しています。

自動復旧が障害をリージョン間に拡大

トラフィック管理システムは、サーバーが応答しなくなってもサービスを維持するはずでした。ところが実際には、接続を正常なマシンへ振り向けたため、それらのサーバーの負荷が増え、同じ欠陥に陥りました。わずか2時間で、欠陥はゲートウェイ群全体に広がりました。最悪の時点では、サーバーの80%超が応答しない状態でした。

障害を個別のインフラ区画内に封じ込めるための保護機能も、拡大を止められませんでした。暫定報告では、その理由は十分に説明されていません。TeamsとSharePointは代替ゲートウェイへ切り替えられたため早く復旧しましたが、Exchange Onlineは必要な規模で同じ切り替えができませんでした。このため、メールボックスへのアクセスとメール配信は深刻な影響を受け続けました。

障害が起きたサーバーを再起動しても、ほとんど効果はありませんでした。待機していたトラフィックが再びサーバーに殺到し、すぐに過負荷になったためです。さらに、数カ月前に展開したソフトウェア変更は、標準的なロールバックの仕組みでは簡単に元に戻せませんでした。エンジニアは最終的に、以前の正常なコードを復元する更新プログラムを開発し、サーバー群を段階的にオンラインへ戻しました。

Microsoftはその後、容量を増強し、監視とトラフィック管理の保護策を追加しました。長期的な是正措置をまとめた最終報告書は、11月20日に公表される見通しです。

インシデント対応がExchangeに依存していないか確認を

セキュリティチームにとっての懸念は、従業員が受信トレイを使えなくなることだけではありません。Microsoftは、影響を受けたサービスとして、Exchangeに依存するDefenderとPurviewの機能を挙げています。

組織独自の対応手順が、新たな依存関係を生む場合もあります。Microsoft Defender XDRでは、管理者が インシデントのメール通知を設定でき、アラートの重大度に応じた通知も可能です。セキュリティオペレーションセンター(SOC)がこうしたメッセージをExchange Onlineのメールボックスに送っている場合、Exchangeの障害中は受信や閲覧が困難になる可能性があります。

ただし、これはあくまで起こり得る障害シナリオです。今回の障害によって、組織が脅威を見逃したことが確認されたわけではありません。検知、通知の配信、アナリストによるアクセスはそれぞれ別の段階にあります。各チームは、自社の環境でどれが利用可能なまま残るのかを把握する必要があります。

この構成を採用している組織は、次の3点を確認すれば、Exchangeの障害で対応が止まるかどうかを把握できます。

セキュリティチームは、メール障害時でも重要なMicrosoft 365のアラートが対応担当者に届くことを確認すべきだ。

11月の障害の影響を受けた組織は、通信の失敗が実際のインシデントへの対応を遅らせなかったかどうかも検証すべきです。Microsoft Defender XDRのインシデントのタイムスタンプを、 SIEMやインシデント管理プラットフォームにある通知の配信・確認記録(利用できる場合)と突き合わせてください。

インシデント後の振り返りでは、通知の遅延、調査ツールにアクセスできなかった事態、確認された監視の空白を切り分けます。 インシデント対応計画には、何が機能しなかったのかを反映し、是正措置の担当者を割り当て、変更後に対応プロセスを再テストしてください。

関連記事:脅威調査の遅れからコンプライアンス業務の中断まで、Microsoftの障害はいくつもの運用リスクを浮き彫りにしました。セキュリティチームが見直すべき点を紹介します。

翻訳元: https://www.esecurityplanet.com/news/news-microsoft-365-outage-windows-bug-recovery/

本記事は esecurityplanet.com の記事を翻訳・要約したものです。