開発・RCA

GitHubがWebhooks・Actions障害のRCAを公開

原題: Incident with Webhooks and Actions

重要解消済み根本原因分析

劣化したKafka brokerを監視できなかった

GitHubは2026年11月13日4時12分頃（日本時間）、11月9日に発生したWebhooksとActions障害の根本原因分析を公開しました。

主な影響時間は11月9日18時23分から20時40分頃で、Webhook delivery、Actions workflow、Dependabot、dependency graphの処理が遅延しました。

軽減までの間、Webhook deliveryの平均26%が遅延し、最大30%に達しました。

一部のdeliveryは最大3.5時間遅れ、少数では同日10時頃から遅延が始まっていました。

GitHub Actionsは30分より古いeventをskipするため、一部のworkflowは開始されませんでした。

原因は11月7日からjob queue clusterのKafka brokerを遅くしていた劣化hostでした。

brokerがGitHubのalertに使うmetricを報告しなくなり、11月9日にclusterがstallするまで検知できませんでした。

GitHubは対象brokerをserviceから外して障害を軽減し、queue backlogは20時40分頃までに解消しました。

恒久対策として、hostが同様にbrokerを遅くした場合に30分以内でpageするalertを追加しました。

新しいalertにより、利用者へ影響する前に劣化brokerをserviceから外せるようにすると説明しています。