故障排查手册

收录 134 个排障条目，按报错与故障现象组织，覆盖系统、磁盘、网络、权限、JVM/Go/Node、Kubernetes 与中间件。

• 502-bad-gateway - 502 Bad Gateway 的定位与修复
• 504-gateway-timeout - 504 Gateway Timeout 的定位与修复
• apiserver-429 - API Server 429 Too Many Requests
• arp-conflict - IP 地址冲突与 ARP 异常的定位
• boot-failure - 系统启动失败的定位与修复
• certificate-expired - TLS 证书过期的定位与修复
• certificate-untrusted - 证书不受信任的定位与修复
• clickhouse-query-memory - ClickHouse 查询报 MEMORY_LIMIT_EXCEEDED（Code 241），或把节点内存打满后被 OOM Killer 终止。
• clickhouse-too-many-parts - ClickHouse Too many parts 的定位与修复
• cloud-lb-502 - 云负载均衡返回 502，但直连后端正常；健康检查时好时坏，错误呈间歇性。
• cni-plugin-failed - CNI 插件失败
• connection-refused - 连接被拒绝的定位与修复
• connection-timeout - 连接超时的定位与修复
• conntrack-full - nf_conntrack 表满导致丢包的定位
• cpu-100 - CPU 占用 100% 的定位与修复
• crashloopbackoff - Kubernetes Pod CrashLoopBackOff 的定位与修复
• csi-mount-failed - CSI 挂载失败
• disk-io-high - 磁盘 I/O 饱和的定位与修复
• disk-readonly - 文件系统变为只读
• dns-ndots - Kubernetes Pod 内解析外部域名偶尔慢几秒，`dig` 却很快，CoreDNS 查询量异常高。
• dns-resolution-failed - DNS 解析失败的定位与修复
• elasticsearch-yellow - Elasticsearch 集群 Yellow
• elasticsearch-yellow-red - Elasticsearch 集群 yellow/red 的定位与修复
• etcd-slow - etcd 请求变慢
• event-loop-blocked - Node.js 事件循环阻塞
• fsck-failed - 文件系统检查失败的定位与修复
• goroutine-leak - Go goroutine 泄漏
• grpc-deadline-exceeded - gRPC 调用返回 DEADLINE_EXCEEDED（code 4），客户端日志为 context deadline exceeded。
• grub-failure - GRUB 引导失败的定位与修复
• http-429 - HTTP 429 Too Many Requests 的定位与处理
• hung-task - 内核 Hung Task
• imagepullbackoff - Kubernetes ImagePullBackOff 的定位与修复
• inode-exhausted - inode 耗尽的定位与修复
• ipv6-connectivity - 只有 IPv6 路径不通：`curl -6` 超时或报 Network is unreachable，IPv4 正常。
• java-gc - Java GC 频繁或停顿过长的定位
• java-oom - Java OutOfMemoryError 的定位与处理
• jvm-gc-overhead - JVM GC 开销过高
• k8s-apiserver-429 - Kubernetes API Server 429 限流的定位
• k8s-apiserver-unavailable - Kubernetes API Server 不可用的定位与修复
• k8s-certificate-expired - Kubernetes 证书过期的定位与续期
• k8s-cni-failed - Kubernetes CNI 网络插件失败的定位
• k8s-coredns-crash - Kubernetes CoreDNS 崩溃的定位与修复
• k8s-dns-failed - Kubernetes 集群内 DNS 解析失败的定位与修复
• k8s-etcd-quorum - Kubernetes etcd 失去多数派的定位与恢复
• k8s-etcd-slow - Kubernetes etcd 变慢的定位与修复
• k8s-ingress-502 - Kubernetes Ingress 502 Bad Gateway 的定位
• k8s-ingress-503 - Kubernetes Ingress 503 的定位与修复
• k8s-job-failed - Kubernetes Job 失败的定位与修复
• k8s-kubelet-not-running - Kubernetes kubelet 无法启动的定位
• k8s-node-disk-pressure - Kubernetes 节点 DiskPressure 的定位与清理
• k8s-pod-terminating - Kubernetes Pod 卡在 Terminating 的定位与修复
• k8s-pv-resize - Kubernetes PVC 扩容卡住的定位与修复
• k8s-pvc-pending - Kubernetes PVC 一直 Pending 的定位与修复
• k8s-webhook-timeout - Kubernetes Admission Webhook 超时的定位
• kafka-consumer-lag - Kafka 消费积压的定位与修复
• kafka-disk-full - Kafka Broker 磁盘写满的定位与处理
• kafka-rebalance - Kafka 消费者组频繁 Rebalance 的定位
• kafka-under-replicated - Kafka 分区副本不足的定位与修复
• keepalive-timeout - 长连接空闲一段时间后被固定秒数断开，复用连接时偶发 reset 或 EOF。
• kernel-panic - Linux 内核 panic 的定位与处理
• kubelet-not-ready - Kubelet NotReady
• load-average-high - 系统负载高但 CPU 不高的排查
• memory-leak - 内存持续增长的定位与修复
• metaspace-oom - Metaspace OOM
• mongodb-slow-query - MongoDB 查询延迟升高、应用超时，慢查询日志显示扫描量远大于返回量。
• mount-failed - 挂载失败的定位与修复
• mtu-blackhole - MTU 黑洞导致连接卡住
• mtu-issue - MTU 不匹配导致大包不通的定位
• mysql-connection-failed - MySQL 连接失败的定位与修复
• mysql-deadlock - MySQL 死锁的定位与处理
• mysql-replication-broken - MySQL 主从复制中断的定位与恢复
• mysql-replication-lag - MySQL 主从复制延迟的定位与修复
• mysql-slow-query - MySQL 慢查询的定位与优化
• mysql-too-many-connections - MySQL Too many connections 的定位与修复
• nat-port-exhausted - NAT 端口耗尽
• nfs-stale-file-handle - NFS Stale file handle 的定位与修复
• nginx-401 - Nginx 401 Unauthorized 的定位与修复
• nginx-403 - Nginx 403 Forbidden 的定位与修复
• nginx-404 - Nginx 404 Not Found 的定位与修复
• nginx-413 - Nginx 413 Request Entity Too Large 的定位与修复
• nginx-499 - Nginx 499 客户端断开连接的定位
• nginx-503 - Nginx 503 Service Temporarily Unavailable 的定位
• nginx-ssl-error - Nginx SSL 握手错误的定位与修复
• nginx-upstream-timed-out - Nginx upstream timed out 的定位与修复
• no-space-left - 磁盘空间耗尽的定位与修复
• node-heap-oom - Node.js 堆内存溢出
• node-notready - Kubernetes 节点 NotReady 的定位与修复
• oom-killed - 进程被 OOM Killer 杀死的定位与修复
• packet-loss - 网络丢包与抖动的定位
• permission-denied - Permission denied 的定位与修复
• php-fpm - Nginx 返回 502/504，PHP-FPM 日志出现 max_children reached 或 listen queue 满。
• pod-evicted - Kubernetes Pod 被 Evicted 的定位与修复
• pod-pending - Kubernetes Pod 一直 Pending 的定位与修复
• port-in-use - 端口被占用的定位与修复
• postgres-autovacuum - PostgreSQL autovacuum 跟不上导致膨胀的定位
• postgres-connection-exhausted - PostgreSQL 连接耗尽
• postgres-connection-failed - PostgreSQL 连接失败的定位与修复
• postgres-deadlock - PostgreSQL 死锁的定位与处理
• postgres-lock-wait - PostgreSQL 锁等待
• postgres-replication-broken - PostgreSQL 主从复制中断的定位与恢复
• postgres-replication-lag - PostgreSQL 复制延迟的定位与修复
• postgres-too-many-connections - PostgreSQL 连接数耗尽的定位与修复
• postgres-wal-full - PostgreSQL WAL 占满磁盘的定位与处理
• probe-failed - Kubernetes 探针失败的定位与修复
• process-stuck - 进程卡死与 D 状态的排查
• pulsar-backlog - Pulsar 订阅 backlog 持续增长，消费速率长期低于生产速率。
• python-gil - 多线程 Python 服务增加线程却不增加吞吐，CPU 只跑满一个核。
• python-memory-leak - Python 服务 RSS 持续上涨、容器反复 OOMKilled，而单次请求并不大。
• rabbitmq-queue-backlog - RabbitMQ 队列堆积
• read-only-filesystem - 文件系统变成只读的定位与修复
• redis-cluster-failover - Redis Cluster 故障切换异常的定位
• redis-connection-failed - Redis 连接失败的定位与修复
• redis-hotkey - Redis 热 Key
• redis-memory-full - Redis 内存打满的定位与修复
• redis-slowlog - Redis 慢查询与延迟尖刺的定位
• ruby-gc - Ruby（MRI）服务 GC 时间上升、内存不回落，Puma worker 被重启或 OOMKilled。
• selinux-denied - SELinux 拒绝的定位与修复
• slow-ssh-login - SSH 登录缓慢的定位与修复
• socket-listen-overflow - 服务端连接建立慢、偶发超时或 reset，`ss -lnt` 的 LISTEN Recv-Q 接近 Send-Q。
• ssh-bruteforce - SSH 暴力破解的识别与防护
• ssh-permission-denied - SSH 公钥登录失败的定位与修复
• sudo-failed - sudo 失败的定位与修复
• sudo-lockout - 把自己锁在 sudo 外的恢复方法
• systemd-start-limit - systemd 启动频率限制导致服务起不来的定位
• systemd-timeout - systemd 启动或停止超时的定位
• tcp-retransmit - TCP 重传率高的定位与修复
• tcp-time-wait - `ss` 显示大量 TIME_WAIT，客户端偶发 Cannot assign requested address 或 conntrack 表压力。
• terminating-stuck - Pod 一直 Terminating
• thread-deadlock - Java 线程死锁
• time-drift - 系统时间漂移
• tls-handshake-failed - TLS 握手失败的定位与修复
• too-many-open-files - 文件描述符耗尽的定位与修复
• websocket-disconnect - WebSocket 连接在固定时间后被断开，客户端反复重连，close code 多为 1006。
• zombie-process - 僵尸进程的定位与清理