k8s-apiserver-429

Kubernetes API Server 429 限流的定位

现象

客户端收到 429 Too Many Requests、the server has received too many requests，kubectl 变慢或失败，控制器反复重试。

快速定位

kubectl get --raw='/metrics' | grep -E 'apiserver_request_total|apiserver_current_inflight_requests'
kubectl get --raw='/debug/pprof/goroutine?debug=1' | head
kubectl get flowschemas
kubectl get prioritylevelconfigurations

apiserver 日志：

journalctl -u kube-apiserver --since '30 min ago' | grep -i -E '429|throttl'

常见根因

1. 客户端 QPS/burst 设置过高，控制器热循环。
2. 大量 watch/list 请求或频繁全量刷新。
3. apiserver 实例不足或 etcd 变慢。
4. API Priority and Fairness 配置不合理。
5. 某个控制器/Operator 异常重试。

修复

• 先定位请求来源：kubectl get --raw 指标、审计日志、客户端 metrics。
• 修热循环/频繁 list，使用 informer/watch 和退避。
• 调整客户端限流 QPS/Burst，不要无限重试。
• 调整 APF 的 FlowSchema/PriorityLevel，给关键请求更高优先级。
• 扩容 apiserver，检查 etcd 延迟。
• 对异常控制器限流/隔离，避免拖垮整个 API。

相关命令

• kubectl — 指标与配置
• promtool — 指标查询
• k8s 分支的 kube-apiserver 页面 — 组件参数