GPU 运维常用命令速查

常用命令

nvidia-smi
nvidia-smi -l 2
nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,temperature.gpu,power.draw \
  --format=csv,noheader,nounits
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
nvidia-smi topo -m
nvidia-smi -q -d ECC,XID

CUDA 和多卡：

nvcc --version
python -c "import torch; print(torch.version.cuda, torch.cuda.is_available())"
nvidia-smi --query-gpu=name,compute_cap --format=csv
export CUDA_VISIBLE_DEVICES=0,1

容器和 Kubernetes：

docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi
kubectl get nodes -o json | jq '.items[].status.allocatable["nvidia.com/gpu"]'
kubectl describe node <NODE> | grep -A10 'Allocated resources'

场景速查

易错点

• nvidia-smi 的 CUDA Version 是驱动支持上限，不是 runtime 版本。
• 容器内看不到 GPU，检查 toolkit、运行时和 --gpus。
• 显存被僵尸进程占用，nvidia-smi 有 PID 但进程已退出。
• MIG 模式下看到的是父设备，需查实例。
• ECC/Xid 错误要尽快下线检查，不要只看利用率。
• 多卡训练没走 NVLink/IB，扩展效率低。
• 共享 GPU（HAMi）显存超卖会导致 OOM。

相关命令

• nvidia-smi — GPU 状态
• nvidia-container-toolkit — 容器 GPU
• dcgm-exporter — GPU 指标
• nccl — 多卡通信
• gpu-burn — GPU 压测
• gpu-cluster-checklist — GPU 集群检查