liger-kernel

Liger Kernel：用融合 Triton kernel 降低 LLM 训练的显存和 kernel 启动开销

补充说明

Liger Kernel 提供一组面向 LLM 训练的融合 Triton kernel，覆盖 RMSNorm、RoPE、SwiGLU、Fused Linear Cross Entropy、GroupNorm、KL 散度等常见算子。它把多个小算子融合成一个 kernel，减少显存读写和 kernel 启动次数，从而降低显存、提高吞吐。它主要优化训练，不替代推理框架。

Liger Kernel 可以直接替换 Hugging Face 模型里的对应层，也可以单独使用融合损失函数。典型集成方式是 apply_liger_kernel_to_llama() 等函数，或配合 TRL、Axolotl、LLaMA-Factory 使用。使用前要确认模型架构和版本被支持。

常用示例

pip install liger-kernel

# 把 Liger kernel 应用到 Llama 系列模型
from liger_kernel.transformers import apply_liger_kernel_to_llama

apply_liger_kernel_to_llama(
    rope=True,
    rms_norm=True,
    swiglu=True,
    cross_entropy=True,
    fused_linear_cross_entropy=True,
)

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B")

# 单独使用融合的线性交叉熵损失，减少 logits 显存
from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss

loss_fn = LigerFusedLinearCrossEntropyLoss()
loss = loss_fn(hidden_states, lm_head_weight, labels)

# 在 TRL 训练脚本中启用
from liger_kernel.transformers import apply_liger_kernel_to_llama
apply_liger_kernel_to_llama()
# 然后按原方式构造 SFTTrainer/DPOTrainer

不同模型有对应的 apply_liger_kernel_to_* 函数；不支持时仍可单独用融合损失或自定义 kernel。

易错点与排错

• 模型架构不支持：不是所有模型都有对应的 apply_liger_kernel_to_*；先查支持列表，不要强行套用。
• 版本不匹配：Liger Kernel 与 Transformers、TRL、PyTorch/CUDA 有兼容要求；升级后跑数值回归。
• 以为所有算子都会变快：融合收益取决于模型和硬件；小模型、短序列或已高度优化的路径收益有限。
• 训练/推理混用：Liger 主要优化训练中的 norm、RoPE、loss 等；推理吞吐仍看 vLLM/TensorRT-LLM。
• 融合损失改变数值行为：Fused Linear Cross Entropy 会改变 logits 计算方式；用固定种子对比 loss 和评测指标。
• 与 FSDP/DeepSpeed 组合顺序：不同集成方式对包装顺序有要求；先跑单卡，再逐步加分布式。
• 自定义 kernel 编译失败：Triton 版本、CUDA 架构不匹配会报错；确认 torch.cuda.get_device_capability() 和 Triton 版本。
• 生产环境未做回退：kernel 异常时应能切回原生实现；保留开关和基线配置。

相关命令

• flash-attn — 注意力算子加速。
• unsloth — 另一套显存优化微调方案。
• transformers — 模型加载与训练。
• trl — SFT/DPO 等训练流程。
• fsdp — 分布式分片训练。

参考链接

• Liger Kernel GitHub
• Liger Kernel 文档
• Triton 文档

读完自测

合上页面，先回答，再展开对照。

1. Liger Kernel 主要通过什么方式降低显存和提升吞吐？
2. 它主要优化训练还是推理？
3. 启用融合损失后，为什么还要做数值回归？