apiserver-429

API Server 429 Too Many Requests

现象

kubectl、控制器或 CI 请求返回 429 Too Many Requests，日志出现 client rate limiter Wait returned an error 或 request did not complete within the requested timeout；大量资源同时创建/删除时更明显。

快速定位

kubectl get --raw /metrics | grep apiserver_request_total | head
kubectl get --raw /metrics | grep apiserver_current_inflight_requests
kubectl get events -A --sort-by=.lastTimestamp | tail

查看组件日志：

kubectl -n kube-system logs deploy/kube-controller-manager | grep -i 'rate limit'
kubectl -n kube-system logs deploy/kube-scheduler | grep -i 'rate limit'

常见根因

• 客户端 QPS/Burst 设置过低或过高。
• 控制器/Operator 频繁 LIST/WATCH 或重试。
• 大量 CRD 和对象导致 API Server 负载高。
• 多个控制器同时更新同一资源，冲突重试。
• 审计日志或 webhook 拖慢请求。
• 节点/控制面资源不足。

修复

• 调整客户端 --kube-api-qps 和 --kube-api-burst，避免无限制重试。
• 给控制器加指数退避和 jitter。
• 减少不必要的 watch 和全量 LIST。
• 拆分大型 CRD/Operator，降低单次请求压力。
• 检查 webhook 超时和失败策略，避免阻塞所有请求。
• 扩容控制面或启用 APF（API Priority and Fairness）。

相关命令

• kubectl get --raw /metrics — API Server 指标
• kubectl get events — 事件
• kubectl logs — 控制器日志
• kubectl top pod — 控制面资源