nsys

Nsight Systems 时间线：看 CPU、GPU、CUDA API、NCCL 与数据加载的重叠和空档

补充说明

Nsight Systems（nsys）做系统级时间线分析：把 CPU 线程、CUDA API、kernel、显存拷贝、NCCL 通信、cuDNN/cuBLAS、OS runtime 和 NVTX 标记放在同一条时间轴上。它回答“GPU 为什么在等”“数据加载是否拖慢训练”“通信和计算有没有重叠”，不深入到单个 kernel 内部的指令和 stall 分析；后者用 Nsight Compute（ncu）。

典型用途：训练吞吐低、GPU 利用率忽高忽低、多卡通信与计算串行、DataLoader 成为瓶颈、推理服务排队。先用 nsys 找时间线上的空档，再用 ncu 分析具体 kernel。

常用示例

# 采集 CUDA、NVTX、OS runtime 和 cuDNN/cuBLAS，生成报告
nsys profile -t cuda,nvtx,osrt,cudnn,cublas -o report ./app

# 采集后在终端看统计摘要
nsys stats report.nsys-rep

# 只采集指定时长，避免报告过大
nsys profile --duration=30 -o report ./app

# 采集 GPU 指标（需要支持的平台）
nsys profile --gpu-metrics-device=0 -o report ./app

# 用 NVTX 标记训练阶段，时间线里更容易定位
nsys profile -t cuda,nvtx -o report python train.py

# 通过 CUDA Profiler API 控制采集范围
nsys profile --capture-range=cudaProfilerApi --capture-range-end=stop -o report ./app

# 打开图形界面查看报告
nsys-ui report.nsys-rep

PyTorch 可以用 torch.cuda.nvtx.range_push/pop 或 torch.profiler 配合 NVTX；关键是给数据加载、前向、反向、优化器步进打上可读的区间名。

易错点与排错

• 把 nsys 和 ncu 混用：nsys 看系统时间线和重叠，ncu 看单 kernel 的指令、内存和 occupancy；先 nsys 找瓶颈，再 ncu 下钻。
• 采集范围太大：完整训练会产生巨大报告并拖慢程序；用 --duration、--capture-range 或只跑几步。
• 没有 NVTX 标记：时间线里只有 kernel 名，难以对应训练阶段；在关键代码段加 NVTX range。
• 时钟不同步：多机/多进程时间线对不齐；先确认时钟同步（NTP/PTP），多机分析要单独配置。
• 容器权限不足：需要访问 GPU 性能和驱动接口；确认容器有 NVIDIA 设备与必要权限。
• 只看 GPU 利用率：利用率高不代表有效，可能在做无效 kernel 或等待；结合时间线空档、拷贝和通信区间判断。
• 忽略数据加载：CPU 线程、DataLoader worker、磁盘 IO 和 GPU 之间的空档，往往就是吞吐损失来源。
• 报告里 kernel 名被截断/混淆：开启完整符号或使用 --resolve-symbols；Python 框架还要保留对应版本信息。

相关命令

• ncu — kernel 级性能分析。
• compute-sanitizer — 内存与竞态检查。
• nccl-tests — 单独验证多卡通信带宽。
• cuda — CUDA 工具链与版本。
• nvidia-smi — 查看 GPU 与进程状态。

参考链接

• Nsight Systems 用户指南
• Nsight Systems 下载

读完自测

合上页面，先回答，再展开对照。

1. nsys 和 ncu 的分析层次有什么不同？
2. 训练时间线里 GPU 出现规律性空档，通常先查什么？
3. 怎样让时间线快速对应到训练阶段？