激安CDNの「KeyCDN」で長時間の障害発生。東京のエッジロケーションにDDoS攻撃
安価なコンテンツ配信ネットワークサービス(CDN)を提供している「KeyCDN」で長時間の障害が発生したので触れておきます。
当サイトの調査によりますと、2016年3月16日午後3時前後から翌17日午前10時ごろまでの間、国内から KeyCDN への接続が非常に不安定な状態となっていました。
KeyCDN の発表によりますと、東京のエッジロケーションへの DDoS 攻撃が原因でこのような症状が発生していたとのこと。
障害発生中は国内から KeyCDN ステータスページへアクセスするのも困難な状態。当サイトを含め、影響を受けていたサイトも少なくなかったようです。
なお、東京以外の海外のエッジロケーションは正常に動作していたため、海外のIPアドレスからだと障害が起こっていないように見える点も厄介で、AWS の高機能DNS「Route 53」で死活監視をしていたとしてもDNSがフェイルオーバーしなかった。という怖い報告も聞かれました。
当サイトでは、たまたま試験運用的に KeyCDN を使っていたところ運悪くこの障害に遭遇。昨日深夜にCDNサービスを切り戻しすることで対処しました。
当日の夕方にはWEB監視サービス「New Relic」のユーザーエクスペリエンス指数「Apdex」のスコア低下を検知していたので、そのタイミングで確認できていればもっと早く対処できたはずなのですが、警告が解除されていたため見逃したのが悔やまれるところです…。
それにしても19時間も障害が続くとか、さすがお値段なりですね。とは思ってしまいます。
かつては AWS の CDN サービス「CloudFront」でも障害があり、CDN が単一障害点となる場合があると話題になったと記憶していますが、今回のような症状ではなかなか対処が面倒そうな気がするので、障害情報をAPI経由とかで配信してくれないかなー。と思ってしまうところです。
ソース・関連情報:
鍋島公章 says:
8年前
CedexisというサービスがCDNのパフォーマンス監視をしています。KeyCDNも対象です。
障害時のAvailabilityグラフを載せました:
https://tech.jstream.jp/blog/cdn/cedexis_radar_mar2016/