nvidia-mig

NVIDIA MIG 分区：把一张 GPU 切成多个隔离实例，按固定 profile 分配显存与算力

补充说明

MIG（Multi-Instance GPU）把支持该特性的数据中心 GPU 切分成多个独立实例，每个实例有固定的显存和计算切片，故障与内存错误在实例之间隔离。常见于 A100、A30、H100、H200 等型号，具体支持情况取决于 GPU 型号、驱动和 vGPU 配置；消费级卡通常不支持。MIG 适合多租户推理、小模型隔离和资源配额，不适合需要整卡 NVLink 带宽的大规模训练。

MIG 的 profile 以“计算切片数 + 显存”命名，例如 A100 40GB 上的 1g.5gb、2g.10gb、3g.20gb、7g.40gb；H100 80GB 的 profile 和可用组合不同。创建实例前先用 nvidia-smi mig -lgip 看当前卡支持的 profile，不要照搬其他型号的命名。

常用示例

# 查看 GPU 是否支持 MIG、当前 MIG 模式和实例
nvidia-smi -L
nvidia-smi mig -lgip

# 启用 MIG 模式（可能需要重启或确保 GPU 空闲）
sudo nvidia-smi -i 0 -mig 1

# 创建两个 1g.10gb 的 GPU 实例，并同时创建计算实例
sudo nvidia-smi mig -i 0 -cgi 1g.10gb,1g.10gb -C

# 查看创建结果
nvidia-smi -L

# 删除计算实例和 GPU 实例（先删计算实例）
sudo nvidia-smi mig -i 0 -dci
sudo nvidia-smi mig -i 0 -dgi

# 关闭 MIG，恢复整卡
sudo nvidia-smi -i 0 -mig 0

# 查看 MIG 设备的显存和利用率
nvidia-smi -L
nvidia-smi mig -i 0 -lgi

Kubernetes 侧通常由 NVIDIA GPU Operator 管理 MIG，资源名类似 nvidia.com/mig-1g.10gb；集群需要选择 single 或 mixed MIG 策略，节点上的 MIG 配置要与 device plugin 的标签一致。

易错点与排错

• 以为所有 GPU 都支持 MIG：先查型号和驱动支持矩阵；消费级卡、部分推理卡和旧架构不支持。
• 直接套用别的型号 profile：A100 40GB、A100 80GB、H100 的 profile 组合不同；用 nvidia-smi mig -lgip 看本机支持项。
• 启用/关闭 MIG 时 GPU 仍在跑任务：先停止容器和训练进程，必要时重启节点；MIG 模式切换不是热操作。
• 创建实例顺序错误：先创建 GPU 实例（GI），再创建计算实例（CI）；删除时先删 CI 再删 GI。
• 认为 MIG 等于整卡性能按比例切分：显存和计算切片是隔离的，但带宽、缓存和 NVLink 资源并非线性分配，性能要按实例实测。
• 容器里只看到整卡或看不到 MIG 设备：确认 NVIDIA Container Toolkit、device plugin 和 NVIDIA_VISIBLE_DEVICES 配置；K8s 资源名要与 MIG profile 匹配。
• 监控仍按整卡采集：MIG 需要按实例看显存、利用率和 XID；DCGM 和 nvidia-smi 的 MIG 视图与整卡不同。
• 在 MIG 实例上跑多卡 NCCL：MIG 会限制 NVLink/通信资源，结果不能代表整卡；跨实例通信要单独验证。

相关命令

• nvidia-smi — 查看 GPU、MIG 设备与进程。
• dcgm — MIG 实例的健康检查与指标。
• hami — Kubernetes GPU 共享与调度。
• nvidia-container-toolkit — 容器内暴露 MIG 设备。
• gpu-topology — 查看整卡与 MIG 下的拓扑关系。

参考链接

• NVIDIA MIG 用户指南
• GPU Operator MIG 支持
• nvidia-smi MIG 命令

读完自测

合上页面，先回答，再展开对照。

1. 1g.10gb 这类 MIG profile 中的两个数字分别表示什么？
2. 启用 MIG 前为什么要先停止 GPU 上的任务？
3. MIG 实例的带宽和整卡是简单按比例切分吗？