nemo

NVIDIA NeMo：用统一框架做 LLM 微调、语音识别与多模态训练

补充说明

NeMo 是 NVIDIA 的生成式 AI 训练框架，覆盖大语言模型、语音识别/合成和多模态。它把 Megatron-LM、分布式训练、混合精度、数据管线和模型导出封装成集合与 recipe。NeMo 不是单一模型，也不是推理服务；推理通常交给 TensorRT-LLM、vLLM 或 Triton。

NeMo 有两条主要使用路径：NeMo 1.x 的 nemo.collections Python API（ASR/NLP 等），以及 NeMo 2.x 的 NeMo Run + recipe（以 LLM 微调为主，底层常用 Megatron 后端）。两者 API 差异较大，看文档前先确认版本，不要混用示例。

常用示例

# 安装完整工具包（体积较大）
pip install "nemo_toolkit[all]"

# 查看 NeMo CLI 与 NeMo Run 入口（版本不同，子命令可能不同）
nemo --help
nemo run --help

# NeMo 1.x/ASR：加载预训练模型并转写
import nemo.collections.asr as nemo_asr

model = nemo_asr.models.ASRModel.from_pretrained(
    model_name="stt_en_conformer_ctc_large"
)
model.transcribe(["meeting.wav"])

# NeMo 2.x：LLM 微调通常通过 recipe + NeMo Run 启动
# 具体 recipe 名称和参数随版本变化，先用 nemo run --help 查看
# 示例结构：
# nemo run <recipe> --factory <config> trainer.devices=8

# 多卡/多机通常结合 Slurm 或 NeMo Run 的分布式配置
srun --gpus-per-node=8 --nodes=2 nemo run <recipe> ...

实际项目先锁定 NeMo、PyTorch、CUDA、Megatron 的版本组合，再用小模型和单机多卡跑通数据、训练、保存、恢复四个环节。

易错点与排错

• NeMo 1.x 和 2.x 示例混用：nemo.collections.nlp、llm、NeMo Run 的 API 不同；先确认版本，再照对应文档执行。
• 版本组合不兼容：NeMo、PyTorch、CUDA、Megatron、Transformer Engine 有兼容矩阵；升级一个组件可能破坏训练。
• recipe 参数覆盖错误：NeMo Run 的 Hydra 配置层级较深；用 --help 和打印最终配置确认，不要凭字段名猜。
• checkpoint 格式不通用：NeMo 的 .nemo/分布式 checkpoint 与 Hugging Face safetensors 不同；导出/转换后再接推理框架。
• 分词器与数据格式不匹配：LLM 微调要使用模型对应 tokenizer 和数据模板；ASR 要确认采样率、特征和词表。
• 多机通信问题：先跑 nccl-tests，再检查 Slurm 分配、网卡、MASTER_ADDR 和容器 IPC。
• 显存估算错误：NeMo 默认可能开启激活检查点/混合精度；长序列和大 batch 仍可能 OOM，逐项调小。
• 把训练框架当推理服务：NeMo 训练出的模型要导出并交给 vLLM/TensorRT-LLM/Triton 服务化，不要直接暴露训练进程。

相关命令

• megatron-lm — NeMo LLM 常用的底层训练框架。
• transformers — Hugging Face 模型与微调生态。
• peft — 参数高效微调。
• llama-factory — 另一条微调工具链。
• slurm — 集群作业提交。
• tensorrt-llm — 训练后的高性能推理。

参考链接

• NeMo 文档
• NeMo GitHub
• NeMo Run

读完自测

合上页面，先回答，再展开对照。

1. NeMo 1.x 和 2.x 的主要使用方式有什么不同？
2. NeMo 训练出的模型可以直接当推理服务吗？
3. 为什么 NeMo 项目要锁定 PyTorch/CUDA/Megatron 的版本组合？