compute-sanitizer

CUDA 内存与竞态检查：定位越界、未初始化读取、数据竞争和显存泄漏

补充说明

Compute Sanitizer 是 NVIDIA 的 CUDA 运行时检查工具，取代旧的 cuda-memcheck。它通过插桩运行程序，检查显存越界、未对齐访问、未初始化读取、共享内存数据竞争、同步错误和显存泄漏。它适合定位“偶发崩溃、结果不稳定、显存缓慢增长”这类问题，不适合做性能分析。

四个常用工具：memcheck 查内存错误和泄漏，racecheck 查共享内存数据竞争，initcheck 查未初始化读取，synccheck 查线程同步错误。检查会显著拖慢程序，通常只在复现问题时使用。

常用示例

# 默认 memcheck：查越界、非法访问和泄漏
compute-sanitizer ./app

# 完整泄漏检查，输出更多细节
compute-sanitizer --tool memcheck --leak-check full ./app

# 查共享内存数据竞争
compute-sanitizer --tool racecheck ./app

# 查未初始化读取
compute-sanitizer --tool initcheck ./app

# 限制输出条数，避免日志爆炸
compute-sanitizer --tool memcheck --print-limit 20 ./app

# 多进程/多卡程序：跟踪所有子进程
compute-sanitizer --target-processes all mpirun -np 8 ./app

# 带调试信息编译，定位到源码行
nvcc -g -lineinfo -O1 app.cu -o app
compute-sanitizer --tool memcheck ./app

Python/CUDA 框架（PyTorch、TensorFlow）也能被检查，但会非常慢；先用最小复现脚本缩小范围，不要直接跑完整训练。

易错点与排错

• 把 sanitizer 当性能工具：插桩后耗时可能是原来的几十倍，不能用来评估吞吐；性能分析用 Nsight Systems/Compute。
• 没有调试符号：只看到地址、看不到源码行；编译时加 -g -lineinfo，并保留对应源码版本。
• racecheck 报告共享内存竞争，但代码用原子操作保护：工具可能报告潜在竞争，要结合代码和同步语义判断，不要盲改。
• 直接跑完整训练：检查会极慢且日志巨大；先写最小复现 kernel 或用小 batch/单卡复现。
• 忽略 --leak-check full 的代价：完整泄漏检查更慢、输出更多；先用默认级别定位，再针对性开启。
• 多进程程序只检查了父进程：加 --target-processes all，否则看不到 worker 的错误。
• 容器/权限问题：需要访问 GPU 和调试能力；确认容器有 NVIDIA 设备，必要时增加权限，但不要在生产容器长期开启。
• 把 sanitizer 报告当成唯一结论：硬件故障、驱动 bug 也会导致类似现象；结合 XID、ECC 和最小复现判断。

相关命令

• cuda — CUDA 工具链与版本管理。
• ncu — kernel 级性能分析。
• nsys — 系统级时间线分析。
• nvidia-smi — 查看 GPU 状态与 XID。
• nccl-tests — 排除多卡通信问题。

参考链接

• Compute Sanitizer 官方文档
• CUDA 调试工具

读完自测

合上页面，先回答，再展开对照。

1. memcheck 和 racecheck 分别检查什么问题？
2. 为什么运行 sanitizer 后程序会慢很多？能用它评估性能吗？
3. 报告只有地址、没有源码行，应该怎么改进？