Linux 性能排查路线图

使用方式

性能问题先分层，不要一上来就 top 然后猜。按“负载 → CPU → 内存 → 磁盘 → 网络 → 内核/应用”的顺序缩小范围，每一层用最小成本的命令确认或排除。USE 方法（Utilization、Saturation、Errors）适合逐项检查资源。

先确认三件事：问题是持续还是偶发、影响单机还是全局、最近有没有发布/配置/流量变化。

检查清单

1. 建立基线

• uptime 看 1/5/15 分钟负载趋势。
• vmstat 1 看 r、b、si、so、wa。
• pidstat 1 看进程级 CPU、内存和 IO。
• 记录问题发生时间、持续时长和影响范围。
• 对比正常时段的监控基线。

2. CPU

• top -H 找高 CPU 线程。
• mpstat -P ALL 1 看是否单核打满。
• perf top 看热点函数。
• 区分用户态、内核态和软中断开销。
• 检查 CPU 限流（cgroup cpu.stat 的 throttled）。

3. 内存

• free -m 看 available 而不是 free。
• vmstat 的 si/so 是否持续非零。
• smem/ps 按 RSS/PSS 排序。
• 检查 page cache、slab 和匿名页。
• dmesg 查 OOM Killer 记录。
• cgroup 内存是否接近 limit。

4. 磁盘与文件系统

• df -h、df -i 检查空间和 inode。
• iostat -xz 1 看 %util、await、aqu-sz。
• iotop -o 找高 IO 进程。
• pidstat -d 1 看进程读写。
• 检查 NFS/云盘延迟和重传。
• dmesg 查磁盘错误和文件系统只读。

5. 网络

• ss -s 看连接数和 socket 状态。
• ss -lntp 确认监听端口。
• sar -n DEV 1 看带宽和丢包。
• tcpdump/tshark 抓包确认重传和 RST。
• conntrack -S 看连接跟踪表是否满。
• 检查 DNS 解析延迟和失败率。

6. 内核与调度

• dmesg -T 查软锁、hung task、OOM。
• cat /proc/pressure/* 看 PSI 压力。
• bpftrace/perf 做内核态追踪。
• 检查 ulimit -n、somaxconn、tcp_max_syn_backlog。
• 检查容器 cgroup 的 CPU/IO/内存限制。

7. 应用层

• 线程池、连接池和队列长度是否饱和。
• GC 日志和堆内存是否异常。
• 慢查询、锁等待和外部依赖延迟。
• 日志中是否有超时、重试和熔断。
• 发布变更和配置变更时间线。

常见误区

• 把 load average 高直接等同于 CPU 忙，忽略 IO 和不可中断睡眠。
• 只看 free 很小就认为内存不足，忽略 page cache 可回收。
• 看到 %util 100% 就认定磁盘瓶颈，NVMe/云盘的 %util 语义不同。
• 用 top 的 CPU 百分比判断容器限流，应该看 cgroup cpu.stat。
• 网络问题只抓包不看 conntrack、DNS 和 TLS 握手。
• 没有基线，无法判断当前指标是否异常。

相关条目

• top、htop、vmstat、pidstat、iostat
• free、slabtop、dmesg、ps
• ss、sar、tcpdump、tshark、conntrack
• perf、bpftrace、ftrace、py-spy
• oom-killed、no-space-left、connection-refused
• k8s-production-checklist、observability-roadmap