Cloudflare、1.1.1.1の障害は攻撃やBGPハイジャックが原因ではないと発表

最近発生した1.1.1.1リゾルバーサービスの障害について、サイバー攻撃やBGPハイジャックが原因との憶測を打ち消すため、Cloudflareはポストモーテムで、この障害が内部の設定ミスによるものであったと説明しています。

この障害は7月14日に発生し、世界中のほとんどのサービス利用者に影響を与え、多くの場合でインターネットサービスが利用できなくなりました。

「根本的な原因は内部の設定ミスであり、攻撃やBGPハイジャックによるものではありませんでした」とCloudflareは発表で述べています。

この発表は、障害がBGPハイジャックによるものだとSNSで報告された後に出されたものです。

世界規模の障害発生

Cloudflareの1.1.1.1パブリックDNSリゾルバーは2018年にサービスを開始し、世界中のユーザーにプライベートかつ高速なインターネット接続を約束してきました。

同社によると、障害の背後には、6月6日に将来のData Localization Suite（DLS）のために行われた設定変更があり、誤って1.1.1.1リゾルバーのIPプレフィックスが本番環境外のDLSサービスに紐付けられてしまったとのことです。

7月14日21:48（UTC）に、新たなアップデートで非稼働状態のDLSサービスにテスト用ロケーションが追加され、ネットワーク設定がグローバルにリフレッシュされて誤った設定が適用されました。

これにより、1.1.1.1リゾルバーのプレフィックスがCloudflareの本番データセンターから引き上げられ、単一のオフラインロケーションにルーティングされてしまい、サービスが世界的に到達不能となりました。

その4分以内に、1.1.1.1リゾルバーへのDNSトラフィックが減少し始めました。22:01（UTC）にはCloudflareがこの障害を検知し、公表しました。

22:20（UTC）に設定ミスが元に戻され、Cloudflareは引き上げたBGPプレフィックスの再アドバタイズを開始しました。最終的に、22:54（UTC）にすべてのロケーションで完全にサービスが復旧しました。

この障害は、1.1.1.1（メインのパブリックDNSリゾルバー）、1.0.0.1（セカンダリのパブリックDNSリゾルバー）、2606:4700:4700::1111および2606:4700:4700::1001（メインおよびセカンダリのIPv6 DNSリゾルバー）、およびCloudflareインフラ内のルーティングをサポートする複数のIPレンジに影響を与えました。

プロトコルへの影響については、上記アドレスへのUDP、TCP、DNS-over-TLS（DoT）クエリのトラフィック量が大幅に減少しましたが、DNS-over-HTTPS（DoH）トラフィックはcloudflare-dns.com経由の異なるルーティングを使用しているため、ほとんど影響を受けませんでした。

今後の対応

Cloudflareは、段階的なロールアウトを行うシステムを使用していれば、この設定ミスは拒否されていた可能性があると認めており、今回の失敗の原因をレガシーシステムの使用にあるとしています。

このため、レガシーシステムの廃止と、静的なIPバインディングではなく抽象的なサービストポロジーを利用する新しい設定システムへの移行を加速させる計画です。これにより、段階的な展開、各段階でのヘルスモニタリング、問題発生時の迅速なロールバックが可能になります。

また、今回の設定ミスはピアレビューを通過しており、サービスのトポロジーやルーティング動作に関する社内ドキュメントが不十分だったために見逃されたことも指摘しています。この点についても改善を図る予定です。