wandb

Weights & Biases 实验跟踪

补充说明

W&B 用于记录训练指标、超参数、系统资源、模型和数据集版本，支持 Sweeps 超参搜索和多人协作。适合需要可视化对比大量实验的团队。

常用示例

登录：

wandb login
# 或使用环境变量
export WANDB_API_KEY=***

初始化并记录：

import wandb

wandb.init(project="qwen-lora", config={"lr": 1e-4, "batch_size": 8})
wandb.log({"loss": 1.23, "accuracy": 0.91}, step=1)
wandb.finish()

记录模型 artifact：

artifact = wandb.Artifact("qwen-lora", type="model")
artifact.add_file("adapter_model.safetensors")
wandb.log_artifact(artifact)

超参搜索：

wandb sweep sweep.yaml
wandb agent <SWEEP_ID>

离线模式：

export WANDB_MODE=offline
wandb sync wandb/offline-run-*

易错点与排错

• 多个进程同时 wandb.init，run 混乱；每个 rank 只让主进程记录。
• 没有调用 wandb.finish()，run 长期处于 running。
• 记录频率过高，网络和存储压力大。
• 离线模式忘记 wandb sync，数据没有上传。
• API Key 泄露在代码或日志中，及时撤销。
• 代理或防火墙阻断 W&B，训练卡在初始化。
• artifact 太大没有分片，上传超时。
• 生产数据上传到公有云前没有脱敏。