dcgm-exporter

DCGM Exporter GPU 指标采集

补充说明

DCGM Exporter 把 NVIDIA GPU 的指标暴露为 Prometheus 格式，包括利用率、显存、温度、功耗、ECC、Xid 和 NVLink。适合 GPU 集群的统一监控和告警。

常用示例

Docker 启动：

docker run -d --name dcgm-exporter \
  --gpus all \
  --cap-add SYS_ADMIN \
  -p 9400:9400 \
  nvcr.io/nvidia/k8s/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04

查看指标：

curl -s http://localhost:9400/metrics | grep DCGM_FI_DEV_GPU_UTIL

Kubernetes 使用 Helm 安装：

helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts
helm install dcgm-exporter gpu-helm-charts/dcgm-exporter \
  --namespace monitoring --create-namespace

常用指标：

DCGM_FI_DEV_GPU_UTIL
DCGM_FI_DEV_MEM_COPY_UTIL
DCGM_FI_DEV_FB_USED
DCGM_FI_DEV_GPU_TEMP
DCGM_FI_DEV_POWER_USAGE
DCGM_FI_DEV_XID_ERRORS

易错点与排错

• 容器没有 --gpus all 或 SYS_ADMIN，指标为空。
• 驱动版本与 DCGM 版本不兼容，exporter 启动失败。
• 只采集利用率，没有采集 Xid/ECC，硬件故障无法提前发现。
• 指标标签过多导致 Prometheus 基数爆炸。
• Kubernetes 中 DaemonSet 没有调度到 GPU 节点，部分节点无数据。
• 防火墙阻断 9400 端口，Prometheus 抓取失败。
• 使用 MIG 时指标按实例暴露，看板需要按 GPU 实例聚合。
• 没有设置 GPU 温度、显存和 Xid 告警，故障只能靠业务感知。