開発・RCA

GitHub Actions・Pages・Webhooks障害のRCAを公開

原題: Incident with Actions, Pages, and Webhooks

重要解消済み根本原因分析

network gatewayのmaintenanceで接続storm

GitHubは2026年11月4日2時39分頃（日本時間）、10月31日に発生したActions、Pages、Webhooks障害の根本原因分析を公開しました。

影響は10月31日2時50分から3時32分頃までで、Actions workflow、Pages deployment、Webhook deliveryが遅延しました。

code searchとlive updateではerrorが発生し、一部のActions queueは軽減後も処理完了まで時間を要しました。

原因は、GitHub datacenterのActions serviceとAzure Central USのRedis clusterを結ぶcloud network gatewayのmaintenanceでした。

Actions serviceのRedis clientが接続を積極的に再試行し、connection stormを発生させました。

その結果、gatewayが飽和し、接続試行の約90%が失敗しました。

同じnetwork経路を共有するほかのserviceにも性能低下が広がりました。

GitHubは影響したresourceをrotationから外し、connection stormを止めてgatewayを回復させました。

再発防止として、対象serviceの再試行回数をすでに削減しました。

今後はjitter付きbackoff、短い接続timeout、retry budgetを追加し、gateway maintenanceへの耐性も高めるとしています。