NVIDIA GPU 状态查询
nvidia-smi 是 NVIDIA 驱动自带的 GPU 管理和监控工具，可查看显卡型号、显存、利用率、温度、功耗、ECC、进程和拓扑。排障时先确认驱动、GPU 是否被识别，再定位显存和算力占用。
查看概览：
nvidia-smi
持续刷新：
nvidia-smi -l 2
查询关键字段：
nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,temperature.gpu,power.draw \
--format=csv,noheader,nounits
查看占用 GPU 的进程：
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
nvidia-smi pmon -c 5
按 PID 反查：
nvidia-smi | grep python
ps -fp <PID>
开启持久模式，减少初始化延迟：
sudo nvidia-smi -pm 1
查看拓扑和 NVLink：
nvidia-smi topo -m
nvidia-smi nvlink -s
NVIDIA-SMI has failed 通常是驱动未加载、内核升级后模块不匹配或容器未挂载驱动。--gpus all、NVIDIA Container Toolkit 和 NVIDIA_VISIBLE_DEVICES。nvidia-smi 能看到 PID 但进程已退出，需重启相关服务或驱动。nvidia-smi 显示利用率低但业务很慢，可能是单卡多进程争抢或 CPU/IO 瓶颈。nvidia-smi 看到的是父设备，需用 nvidia-smi -L 查看实例。CUDA driver version is insufficient。合上页面，先回答，再展开对照。
NVIDIA-SMI has failed 常见原因有哪些？nvidia-smi 显示利用率低但业务很慢，可能是什么原因？--gpus all，以及 NVIDIA Container Toolkit 是否正常。还要确认 NVIDIA_VISIBLE_DEVICES 配置。