nvidia-fabricmanager

NVSwitch 与 Fabric Manager：多卡 NVLink 系统的路由服务、状态检查与故障排查

补充说明

在带 NVSwitch 的多 GPU 服务器（DGX、HGX 等）上，GPU 之间的 NVLink 路由由 NVIDIA Fabric Manager 管理。没有它，系统可能只能以 PCIe 或降级方式通信，甚至出现 NVLink 不可用、GPU 初始化失败。Fabric Manager 的版本必须与 NVIDIA 驱动匹配，并且要在驱动加载后启动。

普通 PCIe 服务器、单卡工作站和只走 PCIe 的虚拟机不需要 Fabric Manager。判断是否需要：看机器是否有 NVSwitch、nvidia-smi -q 是否显示 Fabric 状态、nvidia-smi nvlink -s 是否能读到 NVLink。

常用示例

# 查看 Fabric Manager 服务状态
systemctl status nvidia-fabricmanager

# 查看版本，确认与驱动匹配
nv-fabricmanager --version
nvidia-smi --query-gpu=driver_version --format=csv,noheader

# 查看 GPU 的 Fabric 状态
nvidia-smi -q | grep -i -A3 fabric

# 查看 NVLink 链路状态和错误计数
nvidia-smi nvlink -s
nvidia-smi nvlink -e

# 重启 Fabric Manager（先确认没有训练任务）
sudo systemctl restart nvidia-fabricmanager

# 查看服务日志
journalctl -u nvidia-fabricmanager --since '30 min ago'

# 查看 NVLink / NVSwitch / Fabric 相关状态
nvidia-smi -q | grep -i -E 'nvlink|nvswitch|fabric'

在多机训练前，先确认所有节点的 Fabric Manager 正常、NVLink 链路健康，再用 nccl-tests 验证实际带宽。

易错点与排错

• 在不带 NVSwitch 的机器上排查 Fabric Manager：普通 PCIe 机器不需要它，装了也可能无法启动；先确认硬件型号。
• 版本不匹配：Fabric Manager、驱动、CUDA 版本要按 NVIDIA 兼容矩阵匹配；升级驱动后忘记升级 Fabric Manager 会导致启动失败。
• 启动顺序错误：先加载 NVIDIA 驱动，再启动 Fabric Manager；容器/自动化脚本要显式处理顺序。
• 训练中重启服务：会中断 NVLink 通信，导致任务挂起或崩溃；先排空任务。
• 只看服务 active，不看 NVLink 计数：服务正常但链路有错误时，训练仍可能降速；用 nvidia-smi nvlink -e 看错误计数。
• GPU 重置后 Fabric Manager 未恢复：GPU reset、XID 或驱动重载后要检查服务状态和 NVLink 链路。
• 容器里看不到 NVSwitch：容器通常只暴露 GPU，不暴露 NVSwitch 管理接口；Fabric Manager 在宿主机管理。
• 把 NVLink 降速归因于应用：先看 nvidia-smi nvlink -s 的链路速度和错误，再查 NCCL 拓扑和 GPU 亲和性。

相关命令

• nvidia-smi — 查看 GPU、NVLink 与 Fabric 状态。
• gpu-topology — 查看 GPU/NIC/NUMA 拓扑。
• nccl-tests — 验证 NVLink/IB 实际带宽。
• dcgm — NVLink 与 XID 健康检查。
• nvidia-mig — MIG 下的 NVLink 资源限制。

参考链接

• Fabric Manager 用户指南
• nvidia-smi 文档

读完自测

合上页面，先回答，再展开对照。

1. 什么类型的服务器需要 NVIDIA Fabric Manager？
2. Fabric Manager 版本不匹配会导致什么问题？
3. 服务显示 active，为什么还要看 NVLink 错误计数？