gpu-burn

gpu-burn GPU 压力测试

补充说明

gpu-burn 在 GPU 上执行高强度浮点运算，用于验证散热、供电、显存和 ECC 稳定性。新卡验收、超频后验证和疑似硬件故障时常用。

它会持续跑矩阵乘法并校验结果，出现 FAULTY 说明计算结果不一致，通常指向硬件或驱动问题。

常用示例

获取并编译：

git clone https://github.com/wilicc/gpu-burn.git
cd gpu-burn
make

运行 10 分钟：

./gpu_burn 600

指定 GPU：

CUDA_VISIBLE_DEVICES=0,1 ./gpu_burn 300

容器内运行：

docker run --rm --gpus all \
  -v $(pwd):/work -w /work \
  nvcr.io/nvidia/cuda:12.4.0-devel-ubuntu22.04 \
  ./gpu_burn 300

同时观察温度和功耗：

watch -n 2 'nvidia-smi --query-gpu=index,temperature.gpu,power.draw,clocks.sm --format=csv'

易错点与排错

• 测试时温度过高会降频，结果看起来变慢，先检查散热和风道。
• 多卡机器电源不足会导致掉卡或整机重启。
• 出现 FAULTY 不要只重启，记录 GPU 编号并跑厂商诊断。
• 容器内需要 --gpus all 和 CUDA 运行库，否则编译或运行失败。
• 测试时间太短不足以暴露间歇性故障，建议至少 10–30 分钟。
• 生产节点压测前先排空业务，避免影响线上推理。
• ECC 错误和 Xid 错误要结合 nvidia-smi -q 一起看。
• 不要在没有温度监控的情况下长时间满负荷运行。