地震履歴が読み込めなくなる問題について (2024.12.6)

[YumNumm]

概要

地震履歴が読み込めなくなる問題が発生した。

影響時刻

• 2024/12/06 05:52 JST ~ 2024/12/06 09:56 JST
• 全ユーザが対象
• 正確なユーザ数・地震履歴の表示数は不明だが、期間内のAPI総リクエスト数は5,500 req
  • (Cloudflare Workersのログより)

時系列 (すべてJST)

• 2024/12/05 2:17 : Cloudflareより、決済ができなかった旨のメールを受信
  • メールを確認しておらず 気付けなかった

Hello,

We were unable to process your renewal payment (Invoice # IN-17024058). This can happen when your bank issues a new card, your existing card has expired, or because of a billing error caused by your bank. We’ll try again over the next couple of days.

Continued payment failures may result in a service disruption. To avoid a service disruption, take a moment to review or update your billing information. If you have not yet set up a backup payment method, consider adding one to avoid future payment failures.

• 2024/12/06 05:47 : 障害発生 Cloudflare R2(オブジェクトストレージ)のアクセスが停止
  • 全てのリクエストに対して403 Forbidden This bucket cannot be viewed: You are not authorized to view this bucket レスポンスを返すようになった
• 2024/12/06 9:44 : 起床。アラートが溜まっていることに気がつく
  • ユーザの皆さんからのフィードバックメール通知
  • アプリケーション側のエラー率増加のアラート
  • Xでのメンション・DM
  • などなど...
• 2024/12/06 9:56 : 未払分を支払い
• 2024/12/06 9:56 : 出血停止 Cloudflare R2 (オブジェクトストレージ)へのアクセスが回復
• 2024/12/06 9:58 : プライマリ支払いカード・バックアップ支払いカードを変更・追加

原因

直接原因

• Cloudflareの支払いが成功しなかったこと
  • 直近のカードの解約(ランク切り替え)の影響で、既に登録していたカード番号での決済が失敗するようになってしまった
  • Cloudflareのカード番号切替を失念していた
  • バックアップ支払いカードを設定していなかった

メモ

• 年に数回程度更新される 震度観測点パラメータ の更新がないかどうかを検証 & 更新がある場合はDLするために Cloudflare R2を利用していた。
  • アプリケーション初回起動以降はアプリケーション内にキャッシュされるので、フェッチ時に失敗しても キャッシュ済みデータを使うように変更したい
  • 本件に関わらず アプリケーションの根幹となるデータについては 複数の方法で情報取得できるようにしたい