Microsoftは、先週発生した世界規模のMicrosoft 365障害の原因は7月に混入したソフトウェアのバグだったと明らかにしました。このバグが連鎖的な障害を引き起こし、ネットワークゲートウェイサーバーの80%超が応答不能に陥りました。
11月12日に発生した障害は約24時間に及び、Outlook、Exchange Online、Teams、Copilotなど、Microsoft 365サービスが世界中で利用できなくなりました。ユーザーはメールにアクセスできなくなり、メッセージの配信にも大幅な遅延が生じました。
同社はMicrosoft 365管理センターで共有した事後報告書(暫定版)で、今回の障害は3つの問題が重なって起きたと説明しています。未検出だったソフトウェアのバグ、Microsoft Teamsのフェイルオーバー後のトラフィック増加、そしてサーバー容量の低下です。
障害は11月12日(木)の米東部時間午前11時20分に始まり、翌日の午前11時10分まで続きました。Microsoftはこの時刻にサービスが完全に復旧したことを確認しています。
Microsoftによると、このバグはMicrosoft 365のネットワークゲートウェイサーバー向けに開発したアップデートを通じて、7月に混入しました。
このアップデートは3カ月以上にわたって問題なく展開されていました。しかし実際には、特定のトラフィック条件下でサーバーに過負荷をかけ、応答不能にしかねないバグが潜んでいました。
Microsoftは、アップデートのテストでバグを検出できなかった理由として、本番サーバーより性能の低いテスト用ハードウェアを使っていたことを挙げています。
Microsoftは暫定報告書で、「通常の負荷テストでは、ラボで使用したトラフィックの構成とSKUのために、この潜在的な問題を検出できませんでした」と説明しています。
「競合の問題は、コア数が多く新しいハードウェアのマシンほど悪化します。一方、当社の負荷テストは、コア数の少ない低性能なハードウェアに偏っていました」
バグが顕在化したきっかけは、障害の約15時間前にMicrosoft Teamsが、Exchange Onlineが使用するネットワークインフラへ自動的に切り替わったことです。これによって、該当サーバーのトラフィックが増加しました。
Teamsでは同じ日の早い時間帯にも別の障害が発生していましたが、両者に関連があるかどうかは不明です。
さらに悪いことに、無関係の問題により、ゲートウェイのサーバー容量の約14%がすでにオフラインになっていました。インフラにはこの減少を吸収できるだけの余力がありましたが、トラフィックの増加と容量の低下が重なったことでバグが発動しました。
サーバーが次々に応答しなくなると、Microsoftのシステムはユーザーを稼働中の他のサーバーへ振り向けました。ところが、それらのサーバーも追加のトラフィックで過負荷になり、同様に停止しました。
Microsoftは、「2時間足らずで、それまで未知だった不具合がサーバー群全体で発生し、応答不能に陥りました。最も深刻な時点では、80%超のサーバーが応答していませんでした」と述べています。
リージョン間で問題が波及するのを防ぐための安全機構も、連鎖的な障害を食い止められなかったといいます。その結果、障害は世界中に広がりました。
Teams、OneDrive、SharePointなどのMicrosoft 365サービスは、代替インフラに切り替えて早期に復旧できました。一方、Exchange Onlineは同じ切り替えができず、ユーザーはメールボックスにアクセスできないままでした。
復旧も困難を極めました。影響を受けたサーバーを再起動しても、滞留していたトラフィックが流れ込み、すぐに再び過負荷に陥ったためです。
Microsoftのエンジニアはバグを特定した後、修正プログラムを開発し、影響を受けたサーバーに展開しました。これにより、サービスは金曜日を通して安定しました。
Microsoftは、顧客への実害が11月13日の米東部時間午前11時10分までに解消したことを確認しています。
同社はその後、容量を増強し、監視を強化しました。トラフィックのリダイレクトが同様の連鎖障害を引き起こさないよう、安全機構も追加したとしています。
MicrosoftでCopilot・エージェント・プラットフォーム担当エグゼクティブバイスプレジデントを務めるCharles Lamanna氏は、Xへの別の投稿で、今回の障害について謝罪しました。
Lamanna氏は「すべてのお客様への影響を深くお詫び申し上げます。通常の業務や運営に与える影響の大きさも認識しています」と述べています。
Microsoftは調査を継続しており、最終的な事後報告書は今週後半に公表される見込みです。