trl

TRL 强化学习与对齐训练

补充说明

TRL（Transformer Reinforcement Learning）提供 SFT、DPO、PPO、GRPO 等训练器，用于指令微调和人类偏好对齐。它与 Transformers、PEFT、Accelerate 集成。

常用流程：SFT 冷启动 → 偏好数据构造 → DPO/GRPO 训练 → 评测。

常用示例

安装：

pip install trl peft accelerate transformers

SFT 训练：

from trl import SFTTrainer, SFTConfig

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-7B-Instruct",
    train_dataset=dataset,
    args=SFTConfig(
        output_dir="./sft-out",
        per_device_train_batch_size=2,
        gradient_accumulation_steps=8,
        learning_rate=2e-5,
        num_train_epochs=3,
        max_length=2048,
    ),
)
trainer.train()

DPO 训练：

from trl import DPOTrainer, DPOConfig

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-7B-Instruct",
    ref_model=None,
    train_dataset=preference_dataset,
    args=DPOConfig(output_dir="./dpo-out", beta=0.1),
)
trainer.train()

易错点与排错

• SFT 数据没有套用模型的 chat template，训练和推理格式不一致。
• DPO 的 chosen/rejected 字段名或顺序写反，模型学到反向偏好。
• ref_model=None 时依赖 PEFT，未正确配置会报错。
• 偏好数据质量差，DPO 效果不如 SFT。
• batch size 和梯度累积设置不当，显存 OOM 或收敛慢。
• 评测集与训练集重叠，指标虚高。
• TRL 版本与 Transformers 版本不兼容，Trainer API 变化。
• 多卡训练没有正确设置 accelerate config，进程争抢 GPU。