GPU 集群上线检查清单

使用方式

这份清单用于 GPU 节点验收、Kubernetes GPU 集群上线和重大变更前检查。按硬件、驱动、运行时、调度、监控、训练/推理和故障处理逐项确认。

先在一台节点上完整跑通，再批量复制；不要假设所有节点的驱动和固件一致。

检查清单

1. 硬件与固件

• GPU 型号、显存和数量与采购一致。
• GPU 固件、主板 BIOS 和电源策略已更新并记录。
• NVLink/IB 拓扑符合预期，线缆和交换机正常。
• 散热和风道正常，满载温度在厂商范围内。
• 磁盘、内存和网卡满足数据加载需求。

2. 驱动与 CUDA

• NVIDIA 驱动版本统一，内核模块能自动加载。
• CUDA toolkit 和框架版本兼容。
• nvidia-smi、nvcc、torch.cuda.is_available() 正常。
• ECC 和 Xid 错误有基线。
• 驱动升级有回滚和内核实配计划。

3. 容器运行时

• NVIDIA Container Toolkit 安装并配置。
• containerd/Docker 能识别 nvidia runtime。
• 容器内 --gpus all 能看到 GPU。
• cgroup v2 和 no-cgroups 配置正确。
• 镜像缓存和拉取速度满足扩容。

4. Kubernetes 调度

• NVIDIA device plugin 或 HAMi 正常。
• GPU 节点有 taint/toleration 和标签。
• Pod 能申请 nvidia.com/gpu。
• 共享 GPU 的显存/算力限制生效。
• 训练和推理节点池隔离。
• 资源配额和优先级配置。

5. 监控与告警

• DCGM Exporter 采集 GPU 指标。
• 利用率、显存、温度、功耗、ECC、Xid 有看板。
• GPU 掉卡、温度过高、Xid 错误有告警。
• 节点和 Pod 资源有监控。
• 训练任务和推理服务的业务指标。

6. 训练与推理

• 单机多卡 NCCL 测试通过。
• 多机 NCCL 走 IB/NVLink，带宽符合预期。
• 推理框架在目标并发下压测。
• 模型缓存、健康检查和滚动更新。
• checkpoint 保存和恢复演练。

7. 故障处理

• GPU 故障节点能自动隔离或排空。
• Xid/ECC 故障有下线流程。
• 驱动/固件回滚流程。
• 训练任务能从 checkpoint 恢复。
• 推理服务有多副本和降级方案。

常见误区

• 只在新节点装驱动，其他节点版本不一致。
• 容器能看到 GPU 就认为调度正常，没验证 device plugin。
• 训练和推理混部，显存和带宽互相争抢。
• 只看 GPU 利用率，不看温度和 Xid。
• 多机训练没有测 NCCL，实际走 TCP。
• 没有节点隔离，坏卡反复影响业务。
• GPU 成本没有分摊，容量规划失真。

相关条目

• nvidia-smi — GPU 状态
• nvidia-container-toolkit — 容器 GPU
• dcgm-exporter — GPU 指标
• nccl — 多卡通信
• hami — GPU 共享
• gpu-burn — 压测
• gpu-cheatsheet — GPU 速查
• ai-infra-roadmap — AI 基础设施路线图
• k8s-production-checklist — K8s 生产检查